[논문 리뷰] The Inverse Gamma-Gamma Prior for Optimal Posterior Contraction and Multiple Hypothesis Testing

Ray Bai, Malay Ghosh|arXiv (Cornell University)|2017. 10. 12.

Statistical Methods and Inference참고 문헌 8인용 수 7

한 줄 요약

이 논문은 가우시안 노이즈 하에서 희박한 고차원 평균 벡터의 베이지안 추정을 위한 역감마-감마(IGG) 사전분포를 제안한다. 척도-혼합 정규 구조를 활용함으로써 IGG는 거의 최소자승(posterior contraction)을 달성하고 쿨백-라이블러 농도에서 히어스훅과 히어스훅+보다 뛰어나며, 신호 분류에 대해 최적의 베이즈 위험을 점 渐진적으로 달성하는 가설 검정을 가능하게 한다.

ABSTRACT

We study the well-known problem of estimating a sparse $n$-dimensional unknown mean vector $θ= (θ_1, ..., θ_n)$ with entries corrupted by Gaussian white noise. In the Bayesian framework, continuous shrinkage priors which can be expressed as scale-mixture normal densities are popular for obtaining sparse estimates of $θ$. In this article, we introduce a new fully Bayesian scale-mixture prior known as the inverse gamma-gamma (IGG) prior. We prove that the posterior distribution contracts around the true $θ$ at (near) minimax rate under very mild conditions. In the process, we prove that the sufficient conditions for minimax posterior contraction given by Van der Pas et al. (2016) are not necessary for optimal posterior contraction. We further show that the IGG posterior density concentrates at a rate faster than those of the horseshoe or the horseshoe+ in the Kullback-Leibler (K-L) sense. To classify true signals ($θ_i eq 0$), we also propose a hypothesis test based on thresholding the posterior mean. Taking the loss function to be the expected number of misclassified tests, we show that our test procedure asymptotically attains the optimal Bayes risk exactly. We illustrate through simulations and data analysis that the IGG has excellent finite sample performance for both estimation and classification.

연구 동기 및 목표

• 희박한 고차원 평균 벡터에 대해 최적의 사후 수축을 가능하게 하는 새로운 베이지안 사전분포를 개발하는 것.
• 히어스훅과 히어스훅+와 같은 기존 수축 사전분포보다 사후 농도와 빈도주의 최적성 측면에서 향상된 성능을 달성하는 것.
• 사후 평균을 기반으로 한 가설 검정 절차를 설계하여 다중 검정에서 최적의 베이즈 위험을 점 渐진적으로 달성하는 것.
• 사후 수축이 최적이 되는 이론적 조건을 규명하는 것 — 특히 Van der Pas 등(2016)의 사전 조건이 만족되지 않을 경우에도 성립하는지 검토하는 것.

제안 방법

• 역감마-감마(IGG) 사전분포를 척도-혼합 정규 구조로 제안하며, 이는 역감마 및 감마 분포를 포함하는 계층적 구조를 갖는다.
• IGG 사전분포 하에서 사후분포를 유도하고 빈도주의 위험 기준을 사용하여 수축 성질을 수립한다.
• 쿠르바크-라이블러 발산을 사용하여 IGG 사후분포의 농도율을 히어스훅 및 히어스훅+와 비교한다.
• 사후 평균을 임계값 처리하는 방식으로 다중 가설 검정 절차를 개발하며, 기대 오분류 손실을 최소화한다.
• 이론적 분석을 통해 제안된 검정 절차가 점 渐진적으로 최적의 베이즈 위험을 달성함을 보여준다.
• 시뮬레이션과 실제 데이터 분석을 통해 성능을 검증하여 유한 표본에서 뛰어난 성능을 보임을 확인한다.

실험 결과

연구 질문

• RQ1 기존 결과보다 더 약한 조건에서도 거의 최소자승 사후 수축을 달성할 수 있는 새로운 척도-혼합 사전분포를 구성할 수 있는가?
• RQ2 쿠르바크-라이블러 기준에서 IGG 사전분포의 사후 농도율은 히어스훅 및 히어스훅+와 비교해 어떻게 되는가?
• RQ3 IGG 사후 평균을 기반으로 한 베이지안 다중 검정 절차는 점 渐진적으로 최적의 베이즈 위험을 달성할 수 있는가?
• RQ4 Van der Pas 등(2016)이 제시한 최소자승 사후 수축을 위한 충분조건은 필수적인가, 아니면 더 약한 가정 하에서도 최적이 달성될 수 있는가?

주요 결과

• IGG 사전분포는 Van der Pas 등(2016)의 조건이 만족되지 않을 경우에도 매우 미약한 정규성 조건 하에서 거의 최소자승 수축률을 달성한다.
• 쿠르바크-라이블러 발산 기준에서 IGG 사후분포는 히어스훅 및 히어스훅+보다 더 빠른 수축 속도를 보이며, 더 뛰어난 사후 농도를 의미한다.
• 제안된 사후 평균 기반 가설 검정 절차는 점 渐진적으로 최적의 베이즈 위험을 달성한다. 즉, 극한에서 기대 오분류 수를 정확히 최소화한다.
• 시뮬레이션과 데이터 분석을 통해 IGG 사전분포가 추정 및 다중 가설 검정 모두에서 뛰어난 유한 표본 성능을 보임을 확인하였다.
• 이론적 프레임워크는 최적의 사후 수축을 위한 충분조건가 필수적이지 않음을 보여주며, 효과적인 수축 사전분포를 설계할 수 있는 범위를 넓혔다.