[논문 리뷰] A Moreau-Yosida approximation scheme for a class of high-dimensional posterior distributions

Yves F. Atchadé|arXiv (Cornell University)|2015. 05. 26.

Bayesian Methods and Mixture Models참고 문헌 48인용 수 8

한 줄 요약

이 논문은 스파이크-앤플슬럽과 같은 정확한 희소성 유도 사전분포에 의해 유도되는 고차원 사후분포에 대해 Moreau-Yosida 기반의 스무딩 근사법을 제안한다. 이 방법은 사용자가 정의한 매개변수 $ \gamma $를 통해 정확도를 제어할 수 있으며, $ \beta $-거리에서 $ O(\tilde{\gamma}^{1/2}) $의 근사 오차를 제공함으로써 효율적인 MCMC 샘플링을 가능하게 한다. 이론적 분석은 최적의 사후 수축 속도를 확보하며, 고차원 선형 회귀에서 검증되었다.

ABSTRACT

Exact-sparsity inducing prior distributions in Bayesian analysis typically lead to posterior distributions that are very challenging to handle by standard Markov Chain Monte Carlo (MCMC) methods, particular in high-dimensional models with large number of parameters. We propose a methodology to derive smooth approximations of such posterior distributions that are, in some cases, easier to handle by standard MCMC methods. The approximation is obtained from the forward-backward approximation of the Moreau-Yosida regularization of the negative log-density. We show that the derived approximation is within $O(\sqrtγ)$ of the true posterior distribution in the $β$-metric, where $γ>0$ is a user-controlled parameter that defines the approximation. We illustrate the method with a high-dimensional linear regression model.

연구 동기 및 목표

• 스파이크-앤플슬럽과 같은 정확한 희소성 유도 사전분포를 가진 고차원 모델에서 사후 추론의 계산 불가능성을 해결하기 위해.
• 최적의 사후 수축 성질을 유지하면서도 진정한 사후분포의 부드럽고 다룰 수 있는 근사치를 개발하기 위해.
• 비연속적이며 비볼록인 사후 목표함수를 부드럽고 정규화된 형태로 변환함으로써 표준 MCMC 방법을 효율적으로 적용하기 위해.
• 사용자가 제어할 수 있는 오차 한계를 제공하여 근사의 정확도에 대한 이론적 보장을 확보하기 위해.
• 기존의 방법들인 마진화 또는 이중차원 MCMC의 한계를 넘어, 가우시안 우도와 무거운 尾 꼬리 밀도를 포함한 다양한 분포로의 적용 가능성을 확장하기 위해.

제안 방법

• 이 방법은 사후분포의 음의 로그 밀도에 대해 Moreau-Yosida 정규화를 적용하여, 비연속적이며 비볼록인 함수를 부드럽고 볼록인 근사치로 변환한다.
• 전진-뒤로 가속 방법 프레임워크를 사용하여 Moreau-Yosida 엠보시를 계산하며, 이는 원래 로그 밀도의 정규화된 대체치로 작용한다.
• 결과적으로 얻어진 근사 사후분포 $ \check{\Pi}_{\gamma}(\cdot|z) $ 는 $ \exp(-\varrho_{\gamma}(z)) $ 에 비례하며, 여기서 $ \varrho_{\gamma} $ 는 음의 로그우도와 사전분포의 Moreau 근사치이다.
• 근사 오차는 $ \beta $-거리에서 $ O(\sqrt{\gamma}) $ 로 유계이며, $ \gamma > 0 $ 는 부드러움과 정확도를 제어하는 조정 매개변수이다.
• 이 방법은 라플라스 유형의 사전분포를 가진 고차원 선형 회귀에 적용되었으며, 부드러움과 로그볼록성 덕분에 표준 MCMC에 의해 다루기 쉬운 형태를 유지한다.
• 이론적 분석은 설계 행렬의 정규성 조건과 희소성 조건 하에서 라돈-니코디움 미분의 농도 부등식과 모멘트 유계를 활용하여 근사 오차를 제어한다.

실험 결과

연구 질문

• RQ1 정확한 희소성 유도 사전분포를 가진 고차원 사후분포에 대해 MCMC에 적합한 부드러운 근사치를 구성할 수 있는가?
• RQ2 사용자가 제어하는 매개변수 $ \gamma $ 를 기반으로 진정한 사후분포와 Moreau-Yosida 근사치 사이의 이론적 오차 한계는 무엇인가?
• RQ3 이 근사치는 고차원 선형 모델에서 최적의 사후 수축 속도를 유지하는가?
• RQ4 이 방법은 가우시안 우도와 가우시안 밀도를 넘어서, 특히 무거운 꼬리 밀도를 가진 경우에도 적용 가능한가?
• RQ5 이중차원 샘플러나 변분 방법과 비교할 때, MCMC 혼합 성능과 계산 확장성 측면에서 이 근사치는 어떻게 성능을 발휘하는가?

주요 결과

• Moreau-Yosida 근사치는 진정한 사후분포 $ \check{\Pi}(\cdot|z) $ 와 근사 사후분포 $ \check{\Pi}_{\gamma}(\cdot|z) $ 사이의 $ \beta $-거리에서 $ O(\sqrt{\gamma}) $ 의 오차 한계를 달성하며, $ \gamma > 0 $ 는 사용자가 제어하는 매개변수이다.
• 매개변수 수 $ d $ 가 표본 크기 $ n $ 와 함께 증가하는 경우에도, 고차원 매개변수 공간 전역에서 근사 오차가 균일하게 제어된다.
• 이 방법은 원래의 비연속적 사후분포를 부드럽고 로그볼록인 목표함수로 변환함으로써 효율적인 MCMC 샘플링을 가능하게 하며, 이중차원 이동이 필요 없어진다.
• 유계된 고유값 조건, 희소성 $ s_\star \ll n $, 그리고 $ \lambda_1 = 4\sigma\sqrt{\bar{\kappa}(1)n\log d} $ 등의 정규성 조건 하에서 이론적 보장이 확립된다.
• 무거운 꼬리 밀도를 가진 경우에도 근사치가 유효하며, 이는 최적의 사후 수축 속도를 제공하는 것으로 알려져 있어, 마진화 기반 방법의 핵심 한계를 극복한다.
• 고차원성에 대해 강건함이 입증되었으며, 특히 $ \log \mathbb{E}[e^{\varrho_{\gamma}(Z)} \mathbf{1}_{\mathcal{E}}(Z)] \leq -\log(\pi_{\delta_\star}) + O(s_\star \log d) + O(\gamma \cdot \text{Tr}(X^\top X)) $ 와 같은 유계가 유지됨에 따라 고차원 점근적 조건 하에서도 제어 가능하다.