[논문 리뷰] Scalable Bayesian Variable Selection Using Nonlocal Prior Densities in Ultrahigh-Dimensional Settings

Minsuk Shin, Anirban Bhattacharya외 1명|arXiv (Cornell University)|2015. 07. 25.

Statistical Methods and Inference참고 문헌 45인용 수 27

한 줄 요약

이 논문은 초고차원 설정(p ≫ n)에서 비국소 사전 밀도를 사용한 확장 가능한 베이지안 변수 선택을 제안하며, 초파라미터 τ가 log p보다 더 빠르게 증가할 경우 강력한 모형 선택 일致성을 보임을 입증한다. 이 방법은 라소 및 스파드와 같은 페널라이제이션 최대우도 방법보다 뛰어난 성능을 보이며, 더 낮은 가짜 발동률과 더 빠른 사후 집중을 보이며, 정밀도-재현율 곡선과 효율적인 계산을 위한 새로운 S5 알고리즘을 통해 검증된다.

ABSTRACT

Bayesian model selection procedures based on nonlocal alternative prior densities are extended to ultrahigh dimensional settings and compared to other variable selection procedures using precision-recall curves. Variable selection procedures included in these comparisons include methods based on $g$-priors, reciprocal lasso, adaptive lasso, scad, and minimax concave penalty criteria. The use of precision-recall curves eliminates the sensitivity of our conclusions to the choice of tuning parameters. We find that Bayesian variable selection procedures based on nonlocal priors are competitive to all other procedures in a range of simulation scenarios, and we subsequently explain this favorable performance through a theoretical examination of their consistency properties. When certain regularity conditions apply, we demonstrate that the nonlocal procedures are consistent for linear models even when the number of covariates $p$ increases sub-exponentially with the sample size $n$. A model selection procedure based on Zellner's $g$-prior is also found to be competitive with penalized likelihood methods in identifying the true model, but the posterior distribution on the model space induced by this method is much more dispersed than the posterior distribution induced on the model space by the nonlocal prior methods. We investigate the asymptotic form of the marginal likelihood based on the nonlocal priors and show that it attains a unique term that cannot be derived from the other Bayesian model selection procedures. We also propose a scalable and efficient algorithm called Simplified Shotgun Stochastic Search with Screening (S5) to explore the enormous model space, and we show that S5 dramatically reduces the computing time without losing the capacity to search the interesting region in the model space. The S5 algorithm is available in an \verb R ~package {\it BayesS5} on exttt{CRAN}.

연구 동기 및 목표

• 초고차원 설정(p ≫ n)에서 예측 변수 수 p와 표본 크기 n이 주어질 때 비국소 사전의 이론적 및 실증적 이해 부족 문제를 해결하기 위해.
• 비국소 사전이 페널라이제이션 최대우도 방법(예: 라소, 스파드, 적응형 라소, MCP, rlasso) 및 g-사전과 비교하여 모형 선택 정확도와 가짜 발동률 통제 측면에서 어떻게 성능을 내는지 평가하기 위해.
• 비국소 사전이 고차원 환경에서 강력한 모형 선택 일치성을 달성할 수 있는 이론적 조건을 설정하기 위해.
• 고차원 모형 공간에서의 사후 탐색을 가속화하기 위한 효율적이고 확장 가능한 모형 탐색 알고리즘(S5)을 개발하고 구현하기 위해.
• 초파라미터 선택(예: τ)에 대한 실용적 지침을 제공하고, 계산 비용과 불확실성 정량화 측면에서 베이지안 방법과 페널라이제이션 최대우도 방법을 비교하기 위해.

제안 방법

• 비국소 사전 밀도로 제품 지수모멘트(peMoM)와 제품 역모멘트(piMoM)를 사용하여 회귀 계수에 적용하며, 이는 초파라미터 τ로 제어되는, 0에서의 사전 집중도를 조절한다.
• 비국소 사전의 정규화 상수가 계산이 불가능하므로, 각 모형의 주변 가능도를 계산하기 위해 라플라스 근사를 사용하여 사후 모형 확률을 효율적으로 계산한다.
• S5 알고리즘을 도입하여 SSS(스토케스틱 서치와 스크리닝 통합)에 온도 제어와 스크리닝을 결합하여 모형 공간 탐색을 가속화한다.
• 정밀도-재현율 곡선을 주요 평가 지표로 사용하여 방법을 비교하며, 초고차원 설정에서 진짜 신호의 희박성 때문에 ROC 곡선보다 유리하다고 판단한다.
• 강력한 모형 선택 일치성에 대한 渐近 조건을 유도하여, τ가 log p보다 더 빠르게 증가할 경우 비국소 사전이 p가 n에 대해 지수적으로 증가하는 하위지수적 증가 조건에서도 일치성을 달성함을 보여준다.
• reduced rlasso와 비국소 사전 간의 연결을 설정하며, rlasso 페널티 함수가 비국소 사전의 음의 로그 커널과 동일하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 비국소 사전은 초고차원 설정(p ≫ n)에서 강력한 모형 선택 일치성을 달성할 수 있는가? 그리고 초파라미터 τ에 대해 어떤 조건이 필요한가?
• RQ2 비국소 사전 기반의 베이지안 변수 선택 절차는 라소, 스파드, rlasso 등 페널라이제이션 최대우도 방법과 비교해 가짜 발동률과 검정력 측면에서 어떻게 성능을 내는가?
• RQ3 예측 변수 수 p가 증가함에 따라 최적의 초파라미터(비국소 사전의 τ, g-사전의 g)는 어떻게 행동하는가?
• RQ4 정확도를 희생시키지 않고도 사후 모형 탐색을 가속화할 수 있는 효율적이고 확장 가능한 알고리즘(S5)을 개발할 수 있는가?
• RQ5 고차원 설정에서 비국소 사전을 사용한 베이지안 방법은 페널라이제이션 최대우도 방법에 비해 계산적 및 추론적 이점이 무엇인가?

주요 결과

• 비국소 사전은 초파라미터 τ가 log p보다 더 빠르게 증가할 경우 p ≫ n 설정에서 강력한 모형 선택 일치성을 달성하며, 이는 이론적 및 실증적 결과를 확인한다.
• 비국소 사전의 최적 초파라미터 τ는 p가 증가함에 따라 매우 느리게 증가한다(예: p가 1000에서 20,000으로 증가할 때 1.97에서 3.60으로 증가), 반면 g-사전의 최적 g는 급격히 증가한다(7.83×10⁸에서 4.29×10¹³으로 증가).
• 비국소 사전을 사용한 베이지안 절차는 정밀도-재현율 곡선을 통해 페널라이제이션 최대우도 방법보다 더 낮은 가짜 발동률을 보이며, 동일한 검정력을 유지한다.
• 비국소 사전 기반의 사후 분포는 g-사전 기반 분포보다 최대 사후확률 모형(MAP) 주변에 더 좁게 집중되어 있어 더 빠른 사후 집중을 나타낸다.
• S5 알고리즘은 SSS와 동일한 MAP 모형을 찾는 데 성공했으며, 훨씬 더 짧은 시간에 수행되었고, 고차원 설정에서 확장 가능했다.
• 베이지안 프레임워크는 모형 평균화를 통한 사후 모형 확률 및 불확실성 정량화를 가능하게 하여, 페널라이제이션 최대우도 방법의 점 추정치에 비해 우월한 이점을 제공한다.