[논문 리뷰] Dirichlet-Laplace priors for optimal shrinkage

Anirban Bhattacharya, Debdeep Pati외 2명|arXiv (Cornell University)|2014. 01. 21.

Statistical Methods and Inference참고 문헌 26인용 수 7

한 줄 요약

이 논문은 희박한 고차원 모형에서 최소자승 빈도주의 최적률에 가까운 사후 농도를 달성하는 고차원 베이지안 회귀를 위한 새로운 종류의 글로벌-로컬 수축 사전분포인 디리클레-라플라스(Dirichlet-Laplace, DL) 사전분포를 제안한다. 정규화된 랜덤 측도 이론을 활용하여, DL 사전분포는 효율적인 사후 계산을 가능하게 하면서도 관련이 없는 계수의 최적 수축과 정확한 불확실성 측정을 보장한다.

ABSTRACT

Penalized regression methods, such as $L_1$ regularization, are routinely used in high-dimensional applications, and there is a rich literature on optimality properties under sparsity assumptions. In the Bayesian paradigm, sparsity is routinely induced through two-component mixture priors having a probability mass at zero, but such priors encounter daunting computational problems in high dimensions. This has motivated an amazing variety of continuous shrinkage priors, which can be expressed as global-local scale mixtures of Gaussians, facilitating computation. In sharp contrast to the frequentist literature, little is known about the properties of such priors and the convergence and concentration of the corresponding posterior distribution. In this article, we propose a new class of Dirichlet--Laplace (DL) priors, which possess optimal posterior concentration and lead to efficient posterior computation exploiting results from normalized random measure theory. Finite sample performance of Dirichlet--Laplace priors relative to alternatives is assessed in simulated and real data examples.

연구 동기 및 목표

• 희박한 고차원 모형에서 최적의 사후 농도율을 달성하는 연속 수축 사전분포의 새로운 클래스를 개발하는 것.
• 기존의 이원성 혼합 사전분포와 연속 수축 사전분포가 고차원 환경에서 가지는 이론적·계산적 한계를 극복하는 것.
• Lasso와 같은 $L_1$ 정규화의 빈도주의 방법에 대한 이론적으로 탄탄한 베이지안 대안을 제공하여 최적 수렴률을 확보하는 것.
• 정규화된 랜덤 측도 이론과의 연결을 통해 효율적인 사후 계산을 가능하게 하는 것.
• 특히 약한 희박성 가정 하에서, 베이지안 수축 사전분포와 빈도주의 최적성 간의 격차를 메우는 것.

제안 방법

• 지역 척도가 디리클레 분포에서 추출되고 글로벌 척도가 라플라스 사전분포를 갖는 가우시안 혼합의 글로벌-로컬 척도 혼합으로서 디리클레-라플라스(DL) 사전분포를 제안한다.
• 지역 수축 매개변수들이 농도 매개변수 $a$를 가진 대칭 디리클레 분포에서 추출되고 글로벌 척도가 라플라스 사전분포를 갖는 계층적 구조를 사용한다.
• 정규화된 랜덤 측도 이론을 활용하여 사후 농도 및 수축 행동과 같은 이론적 성질을 도출한다.
• 희박한 벡터 주위의 사전 농도에 대한 경계를 유도하고, 연속 수축을 통한 효과적 차원 감소를 보여준다.
• 사전분포의 尾행동 분석과 고차원 가우시안 혼합에 대한 농도 부등식을 이용하여 사후 수축 속도를 확립한다.
• MCMC 샘플링을 통한 계산 효율성 검증과 시뮬레이션 및 실제 데이터 연구를 통해 확장성을 입증한다.

실험 결과

연구 질문

• RQ1 희박한 고차원 모형에서 사후 분포가 최소자승 빈도주의 최적률에 수렴하도록 할 수 있는 연속 수축 사전분포를 구성할 수 있는가?
• RQ2 계산 가능성을 유지하면서도 관련 없는 계수의 최적 수축을 달성할 수 있도록 사전분포를 어떻게 설계할 수 있는가?
• RQ3 사후 분포가 참 희박한 매개변수 벡터 주위에 최적 속도로 농도를 보이게 하는 이론적 조건은 무엇인가?
• RQ4 제안된 디리클레-라플라스 사전분포는 기존의 수축 사전분포와 비교해 사후 농도와 계산 효율성 측면에서 어떻게 다른가?
• RQ5 정규화된 랜덤 측도 이론을 활용하면 글로벌-로컬 수축 사전분포의 농도 성질을 분석하는 통합적 프레임워크를 제공할 수 있는가?

주요 결과

• 약한 희박성 가정 하에서 디리클레-라플라스 사전분포는 $O(\tilde{q}_n \times \text{log}(n)/n)^{1/2}$ 의 최소자승 빈도주의 최적률에 가까운 사후 농도를 달성한다. 이는 $L_1$ 정규화의 최적 빈도주의 결과와 일치한다.
• 대부분의 계수들이 0에 수렴하도록 수축시키면서도 소수의 큰 계수를 허용함으로써 효과적인 차원 감소를 유도하며, 비제로 성분의 수는 큰 $A$에 대해 $A q_n$ 으로 확률적으로 유계가 된다.
• $q_n \to \text{const}$ 와 $q_n \to \text{천천히 증가하는}$ 두 상황에서 사후 수축이 확립되며, 참 매개변수 주위의 수축 근방에 대한 사후 확률은 1로 수렴한다.
• 이론적 경계는 희박한 벡터 주위의 사전 농도가 충분히 강하다는 것을 보여주며, 대부분의 $i$ 에 대해 $\text{Pr}(|\theta_i| > \tilde{\theta}_n) \to 0$ 이다. 여기서 $\tilde{\theta}_n$ 은 최소자승 빈도주의 최적률이다.
• 글로벌-로컬 척도 혼합의 조건부 케이스 공액성에 기반하여 게이브스 샘플링을 활용한 효율적인 사후 계산이 가능하다.
• 시뮬레이션 및 실제 데이터 예제를 통해 DL 사전분포가 기존의 수축 사전분포보다 변수 선택 정확도와 불확실성 측정 측면에서 뛰어나다는 것이 입증되었다.