[논문 리뷰] Paired-move multiple-try stochastic search for Bayesian variable selection

Xu Chen, Shaan Qamar외 1명|arXiv (Cornell University)|2016. 11. 29.

Statistical Methods and Inference참고 문헌 5인용 수 3

한 줄 요약

이 논문은 고차원적 '큰 p, 작은 n' 설정에서 베이지안 변수 선택을 위한 새로운 쌍이동 다중도전 메트로폴리스(paired-move multiple-try Metropolis, pMTM) MCMC 알고리즘을 제안한다. 다중도전 메트로폴리스를 이산 모형 공간으로 일반화하고 이웃 기반의 확률적 탐색을 통합함으로써, 국소적 순차 스캔에 의존하는 것보다 혼합 성능과 확장성 향상을 이룩하여 기존 방법에 비해 예측 평균제곱오차를 크게 감소시키면서도 경쟁적인 모형 크기를 유지한다.

ABSTRACT

Variable selection is a key issue when analyzing high-dimensional data. The explosion of data with large sample sizes and dimensionality brings new challenges to this problem in both inference accuracy and computational complexity. To alleviate these problems, we propose a new scalable Markov chain Monte Carlo (MCMC) sampling algorithm for "large $p$ small $n$" scenarios by generalizing multiple-try Metropolis to discrete model spaces and further incorporating neighborhood-based stochastic search. The proof of reversibility of the proposed MCMC algorithm is provided. Extensive simulation studies are performed to examine the efficiency of the new algorithm compared with existing methods. A real data example is provided to illustrate the prediction performances of the new algorithm.

연구 동기 및 목표

• 고차원 데이터에서 큰 p와 작은 n를 가진 경우 발생하는 계산 및 추론 과제를 해결하기 위해.
• 이웃 기반의 확률적 탐색을 통합함으로써 이산 모형 공간에서의 MCMC 탐색에서 혼합 성능과 수렴 속도를 향상시키기 위해.
• 지역적 순차 스캔에 대한 의존도를 줄이기 위해 쌍이동 다중도전 메트로폴리스 프레임워크를 통해 확장성과 효율성을 향상시키기 위해.
• 사후 모형 확률을 통한 신뢰할 수 있는 불확실성 측정을 제공함으로써 강건하고 재현 가능한 변수 선택 방법을 제공하기 위해.
• 병렬 처리와 계산 예산 제어를 통해 대규모 데이터셋에 대한 실용적 적용을 가능하게 하기 위해.

제안 방법

• 동시에 여러 후보 모형을 제안하는 쌍이동을 도입하여 다중도전 메트로폴리스 알고리즘을 이산 모형 공간으로 일반화한다.
• 이웃 기반의 확률적 탐색 전략을 도입하여 국소적 이웃 내의 모형을 탐색함으로써 상관관계가 높은 예측 변수 설정에서 혼합 성능를 향상시킨다.
• 세부 균형과 목표 사후분포로의 수렴을 보장하기 위해 철저히 설계된 제안 분포를 사용하는 가역 MCMC 전이 커널을 사용한다.
• 각 반복에서 제안하는 후보 모형 수를 제어하기 위해 민감도가 높은 계산 예산 파라미터 M을 사용하며, 실험에서는 M = p/10으로 설정한다.
• R의 parallel 패키지를 활용한 클러스터 기반 계산을 통한 병렬 처리를 구현하여 데이터를 분산하고 여러 코어에서 마진형 우도를 평가한다.
• ada-pMTM에서는 예측 변수에 대한 점수를 동적으로 업데이트하는 적응형 조정 기법을 적용하여 표준 pMTM 대비 마진형 우도 평가 횟수를 감소시킨다.

실험 결과

연구 질문

• RQ1 베이지안 변수 선택을 위한 다중도전 메트로폴리스 알고리즘이 이산 모형 공간으로 효과적으로 일반화될 수 있는가?
• RQ2 쌍이동 전략은 순차 스캔 대비 고차원 모형 공간 탐색에서 혼합 성능와 수렴 속도를 어떻게 향상시키는가?
• RQ3 계산 예산 M의 변화가 모형 선택의 효율성과 정확성에 어떤 영향을 미치는가?
• RQ4 병렬 처리가 대규모 변수 선택에서 샘플링 품질을 손상시키지 않고 런타임을 크게 향상시킬 수 있는가?
• RQ5 기존의 Lasso, SCAD, SSS와 비교했을 때 제안된 방법은 예측 성능와 모형 선택 정확도에서 어떤가?

주요 결과

• pMTM와 ada-pMTM 알고리즘은 경쟁 방법들보다 낮은 예측 평균제곱오차(MSE)를 기록하였으며, 실데이터 예제에서 ada-pMTM는 MSE 116.43을 기록하였다.
• pMTM와 ada-pMTM는 Lasso와 적응형 Lasso보다 더 작은 모형 크기를 생성하면서도 뛰어난 예측 성능를 유지한다.
• 알고리즘은 강력한 확장성을 보이며, M이 클수록 특히 8개의 코어에서 병렬 처리 시 성능 향상이 두드러진다.
• M = p/5일 때 4개 또는 8개의 클러스터를 사용할 경우 통신 오버헤드가 성능 향상을 제한하지만, M이 증가함에 따라 계산 시간이 지배적이 되어 병렬 처리가 유익하다.
• 낮은 샘플 수로도 균형 상태에 신속히 수렴하여 재현 가능성에 필요한 수렴성과 샘플 크기 조건을 충족한다.
• pRNS와 ada-pMTM를 조합한 하이브리드 접근법은 샘플 다양성과 수렴 속도를 균형 있게 유지할 수 있는 미래 연구의 유망한 방향으로 제안된다.