[논문 리뷰] Bayesian shrinkage

Anirban Bhattacharya, Debdeep Pati외 2명|arXiv (Cornell University)|2012. 12. 25.

Statistical Methods and Inference참고 문헌 19인용 수 17

한 줄 요약

이 논문은 고차원 베이지안 회귀에서 연속형 수축 사전분포의 새로운 클래스인 디리클 라플라스(DL) 사전분포를 제안하며, 사후 농도와 계산 효율성 면에서 최적성을 입증한다. 일반적인 사전분포인 베이지안 라플라스와 달리, DL 사전분포는 희박성 하에서 최적의 임계 빈도를 달성하며, 정규화된 랜덤 측도 이론을 통해 확장 가능한 계산을 가능하게 한다.

ABSTRACT

Penalized regression methods, such as $L_1$ regularization, are routinely used in high-dimensional applications, and there is a rich literature on optimality properties under sparsity assumptions. In the Bayesian paradigm, sparsity is routinely induced through two-component mixture priors having a probability mass at zero, but such priors encounter daunting computational problems in high dimensions. This has motivated an amazing variety of continuous shrinkage priors, which can be expressed as global-local scale mixtures of Gaussians, facilitating computation. In sharp contrast to the corresponding frequentist literature, very little is known about the properties of such priors. Focusing on a broad class of shrinkage priors, we provide precise results on prior and posterior concentration. Interestingly, we demonstrate that most commonly used shrinkage priors, including the Bayesian Lasso, are suboptimal in high-dimensional settings. A new class of Dirichlet Laplace (DL) priors are proposed, which are optimal and lead to efficient posterior computation exploiting results from normalized random measure theory. Finite sample performance of Dirichlet Laplace priors relative to alternatives is assessed in simulations.

연구 동기 및 목표

• 고차원 베이지안 회귀에서 연속형 수축 사전분포에 대한 이론적 이해 부족 문제를 해결하기 위해.
• 희박성 하에서 널리 사용되는 수축 사전분포(예: 베이지안 라플라스)의 비최적성 문제를 규명하고 수정하기 위해.
• 희박성 하에서 최적의 사후 농도와 빈도학적 최소자승 최적 빈도를 달성하는 새로운 사전분포 클래스—디리클 라플라스(DL)—를 개발하기 위해.
• 정규화된 랜덤 측도 이론과의 연결을 통해 사후 분포의 효율적 계산을 가능하게 하기 위해.
• 기존 수축 방법과 비교하여 DL 사전분포의 유한 표본 성능을 평가하기 위해.

제안 방법

• 희박성을 유도하기 위한 이원 혼합 분포의 연속형 해석으로서, 글로벌-로컬 척도 혼합 사전분포의 광범위한 클래스를 제안한다.
• 고차원 점근 이론의 이론적 도구를 사용하여 사전분포 및 사후분포의 농도 성질을 분석한다.
• 디리클 분포를 기반으로 한 국소 수축 척도를 사용한 구체적 구성으로 디리클 라플라스(DL) 사전분포를 도입하며, 이는 최적의 농도율을 보장한다.
• 정규화된 랜덤 측도 이론의 결과를 활용하여 사후 분포의 효율적 MCMC 계산을 가능하게 한다.
• 고차원 희박 모델에서 수축 사전분포가 최소자승 최적 사후 농도를 달성할 수 있는 이론적 조건을 유도한다.
• 시뮬레이션 연구를 통해 DL 사전분포의 유한 표본 성능을 베이지안 라플라스 및 기타 연속형 수축 사전분포와 비교한다.

실험 결과

연구 질문

• RQ1 일반적으로 사용되는 연속형 수축 사전분포(예: 베이지안 라플라스)는 고차원 희박 모델에서 최적의 사후 농도를 달성하는가?
• RQ2 희박성 하에서 최소자승 최적 사후 농도율을 달성하는 새로운 수축 사전분포 클래스를 구성할 수 있는가?
• RQ3 디리클 라플라스 사전분포는 기존 수축 사전분포보다 이론적 및 계산적 우월성을 보이는가?
• RQ4 DL 사전분포의 성능은 어떤 유한 표본 설정에서 다른 방법들과 비교하여 어떻게 되는가?
• RQ5 정규화된 랜덤 측도 이론을 활용하여 복잡한 수축 사전분포에 대한 확장 가능한 계산을 가능하게 할 수 있는가?

주요 결과

• 베이지안 라플라스를 포함한 일반적으로 사용되는 수축 사전분포들은 고차원 설정에서 사후 농도가 부족하여 비최적임이 밝혀졌다.
• 제안된 디리클 라플라스(DL) 사전분포는 희박성 하에서 최적의 사후 농도율을 달성하며, 이는 빈도학적 최소자승 최적 빈도와 일치한다.
• DL 사전분포는 국소 수축 척도에 대한 디리클 분포를 통해 구성되며, 이는 이론적 최적성과 계산 확장성의 이중적 이점을 제공한다.
• 이론적 분석 결과, 예측 변수의 수가 표본 크기와 함께 증가하는 상황에서도 DL 사전분포가 최적의 농도율을 달성함을 보였다.
• 유한 표본 시뮬레이션을 통해 DL 사전분포가 추정 정확도 및 변수 선택 측면에서 베이지안 라플라스 및 기타 연속형 수축 사전분포를 능가함을 입증했다.
• 정규화된 랜덤 측도의 성질을 활용함으로써 DL 사전분포의 효율적 사후 계산이 가능해졌으며, 이는 고차원에서의 실용적 구현을 가능하게 했다.