[논문 리뷰] Bayesian inference in high-dimensional models

Sayantan Banerjee, Ismaël Castillo외 1명|arXiv (Cornell University)|2021. 01. 12.

Statistical Methods and Inference참고 문헌 133인용 수 12

한 줄 요약

이 논문은 고차원 모델에서 베이지안 추론을 검토하며, 회귀, 그래픽 모델 및 관련 문제에 대해 희박성 유도 사전 분포에 초점을 맞춘다. 적절한 사전 선택을 통해 사후 분포가 최소최대 최적 속도로 수축함을 보여주며, 일致한 구조 학습을 보장하고 충분한 빈도주의 커버리지가 보장되는 신뢰구간을 제공한다. 또한 블록 게이브스 샘플링과 라플라스 근사와 같은 효율적인 계산 방법을 제시하여 확장 가능한 추론을 가능하게 한다.

ABSTRACT

Models with dimension more than the available sample size are now commonly used in various applications. A sensible inference is possible using a lower-dimensional structure. In regression problems with a large number of predictors, the model is often assumed to be sparse, with only a few predictors active. Interdependence between a large number of variables is succinctly described by a graphical model, where variables are represented by nodes on a graph and an edge between two nodes is used to indicate their conditional dependence given other variables. Many procedures for making inferences in the high-dimensional setting, typically using penalty functions to induce sparsity in the solution obtained by minimizing a loss function, were developed. Bayesian methods have been proposed for such problems more recently, where the prior takes care of the sparsity structure. These methods have the natural ability to also automatically quantify the uncertainty of the inference through the posterior distribution. Theoretical studies of Bayesian procedures in high-dimension have been carried out recently. Questions that arise are, whether the posterior distribution contracts near the true value of the parameter at the minimax optimal rate, whether the correct lower-dimensional structure is discovered with high posterior probability, and whether a credible region has adequate frequentist coverage. In this paper, we review these properties of Bayesian and related methods for several high-dimensional models such as many normal means problem, linear regression, generalized linear models, Gaussian and non-Gaussian graphical models. Effective computational approaches are also discussed.

연구 동기 및 목표

• 고차원 모델에서 베이지안 방법의 이론적 빈도주의 성질을 조사하는 것, 예를 들어 사후 수축 속도와 모형 선택 일致성.
• 고차원 설정에서 베이지안 신뢰영역이 충분한 빈도주의 커버리지 달성을 이루는지 평가하는 것.
• 고차원 그래픽 모델과 회귀에서 사후 계산을 위한 계산적으로 효율적인 알고리즘을 개발하고 분석하는 것.
• 이론적 성능과 불확실성 측정 측면에서 베이지안 접근법을 빈도주의 페널티 방법(예: LASSO)과 비교하는 것.
• 베이지안 방법이 최소최대 최적 수축 속도를 달성하고 일관된 모형 선택을 보장하는 조건을 설정하는 것.

제안 방법

• 정밀도 행렬과 회귀 계수에 희박성을 유도하는 계층적 사전 분포를 사용하여 변수 선택과 구조 학습을 가능하게 한다.
• 정규분포와 베르누이분포를 기반으로 한 조건부 사후분포를 사용하여 정밀도 행렬과 간선 지표 $ z_{ij} $ 를 번갈아가며 갱신하는 블록 게이브스 샘플러를 적용한다.
• 사후 모드 주변에서 로그우도에 라플라스 근사를 적용하여 근사적으로 효율적으로 주변 사후 모형 확률을 계산함으로써, 비용이 많이 드는 역전이 가능한 MCMC를 피한다.
• 정밀도 행렬 $ oldsymbol{ ext{Ω}} $의 원소에 소프트 스플라이스 앤 슬래브 사전을 적용하며, $ u_0 $ (작은) 및 $ u_1 $ (큰) 분산을 가진 혼합분포를 사용하여 희박성을 반영한다.
• 대각선에 위샤르트 유사 사전을 사용하고 조건부 갱신을 통해 이 조건을 유지함으로써 $ oldsymbol{ ext{Ω}} $ 의 정의된 양성성을 유지한다.
• 각 모형 내에서 사후 모드를 신속하게 계산하기 위해 그래픽 LASSO를 사용하여 빠른 근사치를 제공함으로써, 라플라스 근사를 통한 사후 확률 계산을 가속화한다.

실험 결과

연구 질문

• RQ1 희박한 선형 회귀와 가우시안 그래픽 모델과 같은 고차원 모델에서 사후 분포가 최소최대 최적 속도로 수축하는가?
• RQ2 고차원 설정에서 베이지안 방법이 높은 사후 확률로 참 모형의 구조(예: 참 그래프 또는 활성 예측변수)를 일관되게 선택할 수 있는가?
• RQ3 고차원 설정에서 사후 분포로부터 유도된 신뢰영역이 충분한 빈도주의 커버리지 달성을 이루는가?
• RQ4 복잡한 제약 조건이 있는 고차원 그래픽 모델에서 사후 샘플링을 위한 효율적인 계산은 어떻게 달성할 수 있는가?
• RQ5 라플라스 근사는 고차원 베이지안 구조 학습에서 모형 비교를 위한 MCMC의 빠르고 신뢰할 수 있는 대안이 될 수 있는가?

주요 결과

• 적절한 계층적 사전을 사용할 경우, 사후 분포는 희박한 선형 회귀와 가우시안 그래픽 모델을 포함한 고차원 모델에서 최소최대 최적 속도로 수축한다.
• 표본 크기가 증가함에 따라 참 모형의 사후 확률은 1로 수렴하며, 적절한 정규성 조건 하에서 일관된 구조 학습을 보장한다.
• 사후 분포에서 유도된 신뢰영역은 渐近적으로 빈도주의 커버리지 달성을 이루며, 고차원에서의 베이지안 불확실성 측정의 타당성을 입증한다.
• 소프트 스플라이스 앤 슬래브 사전을 사용한 블록 게이브스 샘플러는 고차원 그래프에서도 효율적인 사후 계산과 구조 학습을 가능하게 한다.
• 라플라스 근사는 MCMC에 비해 계산이 매우 빠르며, 특히 모드에 영향을 주는 0 성분이 없는 규칙적인 모형에서 후보 모형 확률 계산에 매우 효과적이다.
• 모형 오류가 있을 경우에도 성능이 강인하며, 비규칙적인 모형은 더 높은 사후 확률을 가진 규칙적인 부분모형에 의해 지배되므로 신뢰할 수 있는 모형 선택이 보장된다.