[논문 리뷰] Individual adaptation: an adaptive MCMC scheme for variable selection problems

Jim E. Griffin, Krzysztof Łatuszyński외 1명|arXiv (Cornell University)|2014. 12. 21.

Bayesian Methods and Mixture Models참고 문헌 33인용 수 9

한 줄 요약

이 논문은 고차원 회귀에서 베이지안 변수 선택을 위한 적응형 메트로폴리스-해스팅스 MCMC 알고리즘인 Individual Adaptation를 제안한다. 이 알고리즘은 과거 샘플을 기반으로 각 변수별로 제안 분포를 동적으로 조정하여, 큰 $ p $, 작은 $ n $ 설정에서 혼합성과 수렴성을 향상시킨다. 22,577개의 변수를 가진 유전자 발현 데이터셋에서 높은 효율성을 입증하였다.

ABSTRACT

The increasing size of data sets has lead to variable selection in regression becoming increasingly important. Bayesian approaches are attractive since they allow uncertainty about the choice of variables to be formally included in the analysis. The application of fully Bayesian variable selection methods to large data sets is computationally challenging. We describe an adaptive Markov chain Monte Carlo approach called Individual Adaptation which adjusts a general proposal to the data. We show that the algorithm is ergodic and discuss its use within parallel tempering and sequential Monte Carlo approaches. We illustrate the use of the method on two data sets including a gene expression analysis with 22 577 variables.

연구 동기 및 목표

• 수천 개의 변수를 포함하는 고차원 회귀에서의 베이지안 변수 선택의 계산적 과제를 해결한다.
• 다중 모달성과 고차원성으로 인해 표준 MCMC 샘플러에서 혼합성이 떨어지고 수렴 속도가 느려지는 문제를 극복한다.
• 각 변수별로 제안 분포를 개별적으로 조정하여 샘플링 효율성을 향상시키는 적응형 MCMC 체계를 개발한다.
• 대규모 변수 선택 문제에 대해 확장 가능하고 대표적인 사후 샘플링을 가능하게 한다.
• 유전자 발현 분석과 같은 복잡한 설정, 특히 거대한 예측 변수 집합을 가진 응용 분야를 지원한다.

제안 방법

• 과거 샘플을 기반으로 각 변수별로 독립적으로 제안 분포를 조정하는 새로운 적응형 MCMC 알고리즘인 Individual Adaptation를 제안한다.
• 랜덤 워크 메트로폴리스-해스팅스 기반의 방법으로, 제안 분포의 공분산 행렬을 수락된 및 기각된 상태의 이력을 사용해 각 변수별로 업데이트한다.
• 기하급수적으로 감소하는 적응 스케줄을 사용하여 마코프 체인의 거의 확실한 수렴성과 에르고딕성을 보장한다.
• 다중 모달 사후 분포에서 혼합성을 더욱 향상시키기 위해 평행 온도법과 순차 몬테카를로를 통합한다.
• 완전한 베이지안 모델 평균화를 가능하게 하기 위해 $ g $-프리어 또는 독립 정규 프리어를 사용한 스파이크-앤프레드 프리어를 적용한다.
• 과거 값의 경험적 분산을 기반으로 각 계수의 제안 분산을 조정하여 수용률과 탐색 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 각 변수별로 제안을 개별적으로 조정하는 적응형 MCMC 체계가 고차원 베이지안 변수 선택에서 혼합성을 향상시킬 수 있는가?
• RQ2 Individual Adaptation는 표준 적응형 MCMC 방법에 비해 수렴 속도와 샘플링 효율성 측면에서 어떻게 비교되는가?
• RQ3 Individual Adaptation는 큰 $ p $, 작은 $ n $ 회귀 문제에서 다중 모달 사후 분포를 효과적으로 탐색할 수 있는가?
• RQ4 적응 조정 하에서 알고리즘이 에르고딕성과 거의 확실한 수렴성을 유지하는가?
• RQ5 Individual Adaptation는 유전자 발현 데이터와 같이 22,577개의 변수를 가진 실제 고차원 데이터셋에 스케일링 가능한가?

주요 결과

• Standard adaptive MCMC 방법에 비해 고차원 변수 선택 문제에서 혼합성과 수렴 속도가 크게 향상된다.
• 예측 변수 간 강한 상관관계가 존재하는 상황에서도 모델 공간을 효율적으로 탐색할 수 있다.
• 22,577개의 변수를 가진 유전자 발현 데이터셋에 대한 실증 결과에서, 표준 방법이 실패하는 상황에서도 Individual Adaptation는 대표적인 사후 샘플을 생성한다.
• 감소하는 적응 스케줄 하에서 에르고딕성이 유지되어 목표 분포로의 거의 확실한 수렴이 보장된다.
• 평행 온도법과 순차 몬테카를로 통합으로 인해 다중 모달 사후 분포에서 성능이 더욱 향상된다.
• 각 변수별 적응 조정으로 인해 더 높은 유효 표본 크기와 더 안정적인 사후 포함 확률 추정치를 달성한다.