[논문 리뷰] Variational approximations of empirical Bayes posteriors in high-dimensional linear models

Yue Yang, Ryan R. Martin|arXiv (Cornell University)|2020. 07. 31.

Statistical Methods and Inference참고 문헌 40인용 수 7

한 줄 요약

이 논문은 높은 차원의 선형 모형에서 데이터 기반의 공액 사전분포를 사용하고 꼬리가 얇은 사전분포를 도입하여 경험베이즈 사후분포에 대한 빠른 변분 근사법을 제안한다. 이 방법은 좌표상승변분추론을 통해 효율적인 계산을 가능하게 하면서도 최적의 사후집중률을 달성하여 시뮬레이션 연구에서 기존 방법들을 능가한다.

ABSTRACT

In high-dimensions, the prior tails can have a significant effect on both posterior computation and asymptotic concentration rates. To achieve optimal rates while keeping the posterior computations relatively simple, an empirical Bayes approach has recently been proposed, featuring thin-tailed conjugate priors with data-driven centers. While conjugate priors ease some of the computational burden, Markov chain Monte Carlo methods are still needed, which can be expensive when dimension is high. In this paper, we develop a variational approximation to the empirical Bayes posterior that is fast to compute and retains the optimal concentration rate properties of the original. In simulations, our method is shown to have superior performance compared to existing variational approximations in the literature across a wide range of high-dimensional settings.

연구 동기 및 목표

• 희박한 회귀계수를 가진 고차원 베이지안 선형 모형에서 마르코프 체인 몬테카를로(MCMC)의 계산 부담을 완화하기 위해.
• MCMC에 대한 계산 효율성이 높으면서도 최적의 사후집중률을 유지하는 대안을 개발하기 위해.
• 기존의 변분 방법들이 하위최적의 사전분포를 사용하거나 각 반복에서 수치 최적화를 요구하는 등의 한계를 극복하기 위해.
• 확장 가능하고 계산이 매우 빠른 사후분포 근사법을 제공하여 고차원 환경에서의 빈도주의 최적성 유지하기 위해.

제안 방법

• 이 방법은 경험베이즈 사후분포를 근사하기 위해 좌표상승변분추론(CAVI)을 사용한다.
• 데이터 기반의 공액 사전분포를 사용하며, 꼬리가 얇고 중심은 데이터로부터 경험적으로 결정되어 계산의 타당성을 보장한다.
• 변분 가족은 모형 부분집합 S에 대한 혼합형태로 구성되며, 선형 예측자 ω_S = w^T β의 사후분포에 대해 정규 근사를 사용한다.
• 공액 구조에서 유도된 닫힌 형태의 업데이트를 통해 수치 해법기를 피하고, 반복적으로 변분 매개변수를 업데이트한다.
• 진짜 경험베이즈 사후분포의 이론적 성질과 일치함으로써 변분 사후분포가 최적의 속도로 집중되도록 보장한다.
• 진짜 사후분포와 변분 사후분포 사이의 총 변동 거리가 기대값에서 0으로 수렴함을 보여, 渐近적 타당성을 보장한다.

실험 결과

연구 질문

• RQ1 고차원 선형 모형에서 최적의 사후집중률을 유지하면서 경험베이즈 사후분포에 대한 변분 근사법을 개발할 수 있는가?
• RQ2 제안된 방법은 MCMC보다 더 빠른 계산을 달성하면서도 빈도주의 최적성을 유지하는가?
• RQ3 데이터 기반의 공액 사전분포를 사용하고 꼬리가 얇은 사전분포를 적용할 경우 변분 근사의 정확도와 수렴성에 어떤 영향을 미치는가?
• RQ4 표본 크기가 증가함에 따라 변분 사후분포는 진짜 희박한 모형 구조(즉, 지지집합 S^*)를 일관되게 식별할 수 있는가?
• RQ5 변분 사후분포에서 유도된 신뢰구간의 커버리지 행동은 진짜 사후분포와 비교하여 어떠한가?

주요 결과

• 제안된 변분 근사법은 이론적으로 참 경험베이즈 사후분포의 최적 사후집중률을 달성한다.
• 표본 크기가 증가함에 따라 진짜 사후분포와 변분 사후분포 사이의 총 변동 거리가 기대값에서 0으로 수렴함을 보여, 渐近적 타당성을 보장한다.
• 다양한 고차원 설정에서의 시뮬레이션에서 기존의 변분 근사법보다 뛰어난 성능을 보였다.
• 변분 사후분포에서 유도된 신뢰구간은 적절한 빈도주의 커버리지 행동을 보이며, 진짜 매개변수가 하한분위수 이하에 있을 확률이 명목 수준으로 수렴한다.
• 공액이면서 데이터 기반의 사전분포를 사용함으로써 변분 알고리즘에서 닫힌 형태의 업데이트가 가능해져, 수치 최적화가 필요한 방법보다 계산 속도가 크게 향상된다.
• 표본 크기 n → ∞일 때 진짜 모형 지지집합 S^*를 높은 확률로 식별함으로써 변수 선택에서의 일관성을 확인하였다.