[논문 리뷰] Scalable Approximations of Marginal Posteriors in Variable Selection

Willem van den Boom, Galen Reeves외 1명|arXiv (Cornell University)|2015. 06. 22.

Bayesian Methods and Mixture Models참고 문헌 25인용 수 7

한 줄 요약

이 논문은 스파이크-앤퍼슬 프리오르를 사용한 고차원 베이지안 변수 선택에서 변량 포함 확률의 사후 마진 분포를 효율적으로 근사하기 위해 근사 메시지 전달(AMP)과 베이지안 압축 회귀(BCR)를 활용한 확장 가능한 프레임워크를 제안한다. 이 방법은 회전된 데이터의 사후 예측 분포를 근사함으로써 고차원 환경(예: 뇌영상)에서 신뢰할 수 있는 불확실성 정량화를 가능하게 하며, 과학적 추론에 필수적인 변수의 유의성에 대해 정확하고 빠른 추정을 실현한다.

ABSTRACT

In many contexts, there is interest in selecting the most important variables from a very large collection, commonly referred to as support recovery or variable, feature or subset selection. There is an enormous literature proposing a rich variety of algorithms. In scientific applications, it is of crucial importance to quantify uncertainty in variable selection, providing measures of statistical significance for each variable. The overwhelming majority of algorithms fail to produce such measures. This has led to a focus in the scientific literature on independent screening methods, which examine each variable in isolation, obtaining p-values measuring the significance of marginal associations. Bayesian methods provide an alternative, with marginal inclusion probabilities used in place of p-values. Bayesian variable selection has advantages, but is impractical computationally beyond small problems. In this article, we show that approximate message passing (AMP) and Bayesian compressed regression (BCR) can be used to rapidly obtain accurate approximations to marginal inclusion probabilities in high-dimensional variable selection. Theoretical support is provided, simulation studies are conducted to assess performance, and the method is applied to a study relating brain networks to creative reasoning.

연구 동기 및 목표

• 대부분의 빠른 방법이 통계적 유의성 측정을 제공하지 못하는 고차원 변수 선택에서의 불확실성 정량화 부족 문제를 해결한다.
• 대규모 문제(예: p > 1000)에서 MCMC를 사용한 정확한 베이지안 변수 선택의 계산 불가능성을 극복한다.
• 비정규 프리오르를 가진 베이지안 선형 회귀에서 마진 사후 분포를 근사하기 위한 일반적이고 확장 가능한 프레임워크를 개발한다.
• 각 예측 변수에 대한 정확한 사후 포함 확률(PIPs)을 제공하여 과학적 추론에서 p-값의 베이지안 해석을 제공한다.
• 복잡하고 꼬리가 두꺼운, 조건이 나쁜 특징을 가진 시뮬레이션 데이터와 실제 뇌영상 데이터에서 프레임워크의 강건성과 정확성을 입증한다.

제안 방법

• 관심 있는 매개변수를 잡음 계수와 분리하기 위해 기반 기반 변환을 사용하여 고차원 사후를 스칼라 문제로 축소한다.
• 최신 기법인 AMP와 BCR를 사용하여 회전된 데이터의 사후 예측 분포를 근사한다.
• 스파이크-앤퍼슬 프리오르를 적용하여 변수 포함를 모델링하며, 각 계수는 0(스파이크)이거나 정규분포를 가진다(슬랩).
• 근사된 사후 예측 밀도를 사용하여 포함 및 배제 조건 하의 모델 증거 비율을 통해 마진 사후 포함 확률을 추정한다.
• 오차 분산 σ²과 포함 확률 λ를 알 수 없는 경우, 경험 베이지안 또는 계층적 프리오르를 사용하여 통합한다.
• 전체 사후가 비정규일지라도, p가 매우 클 경우 사후 예측 근사의 渐近 정규성을 활용한다.

실험 결과

연구 질문

• RQ1 AMP와 BCR는 고차원 베이지안 변수 선택에서 마진 사후 포함 확률에 대해 정확하고 확장 가능한 근사를 제공할 수 있는가?
• RQ2 시뮬레이션 설정에서 상관 구조(ρ)와 신호 대 잡음 비율(SNR)이 다양할 경우 이 근사가 얼마나 잘 성능을 내는가?
• RQ3 σ²와 λ가 알려져 있지 않고 데이터에서 추정되어야 할 경우, 이 프레임워크는 PIP를 신뢰성 있게 추정할 수 있는가?
• RQ4 정확성과 계산 효율성 측면에서 MCMC 기반 방법과 비교해 볼 때 이 근사는 어떻게 성능을 내는가?
• RQ5 이 방법은 고차원, 이산적이고 꼬리가 두꺼운 특징을 가진 실제 뇌영상 데이터에서 생물학적으로 의미 있는 뇌 네트워크 연결을 식별할 수 있는가?

주요 결과

• AMP와 BCR는 고상관(ρ = 0.8)과 저신호 대 잡음 비율(SNR = 1)을 포함한 다양한 시뮬레이션 설정에서 사후 포함 확률에 대해 매우 정확한 근사를 제공한다.
• MCMC 기반 베이지안 변수 선택 대비 순서 수준의 속도 향상을 달성하면서도 PIP 추정 정확도는 유사하게 유지한다.
• AMP와 BCR는 σ²와 λ가 알려져 있지 않을 경우에도 PIP를 성공적으로 추정하며, 200회의 시뮬레이션에서 박스플롯을 통해 일관되고 의미 있는 추정치를 보였다.
• 실제 뇌 기능 연결성 연구(n=113, p=1802)에서, 이 방법은 반구 간 연결이 매우 높은 확률로 추정되었으며, 이는 이전 신경과학 연구 결과와 일치했다.
• BCR와 AMP는 유사하지만 서로 다른 엣지 우선순위를 보였으며, 둘 다 데이터의 꼬리가 두껍고 조건이 나쁜 환경임에도 불구하고 알려진 연결 패턴(예: 노드 18L에서 3R, 18R, 20R로의 연결)을 회복했다.
• AMP는 특히 고상관 조건에서 PIP를 0 또는 1 쪽으로 더 적극적으로 밀어붙이는 경향을 보였지만, 둘 다 안정적이고 정보가 풍부한 결과를 제공했다.