[논문 리뷰] Posterior Concentration Properties of a General Class of Shrinkage Priors around Nearly Black Vectors

Prasenjit Ghosh, Arijit Chakrabarti|arXiv (Cornell University)|2014. 12. 28.

Seismic and Structural Analysis of Tall Buildings참고 문헌 3인용 수 8

한 줄 요약

이 논문은 높은 차원의 희박한 평균 벡터를 추정할 때, 말리스, 일반화된 이중 파레토, 그리고 삼매개수 베타노멀 혼합 분포와 같은 넓은 범주에 속하는 연속 수축 사전분포의 사후 농도 집중 성질을 수립한다. 빈도주의 프레임워크 하에서, 이러한 사전분포가 거의 검은 벡터 주위에서 최소 최대 최적의 사후 수렴 속도를 달성함을 증명하며, 농도와 사후 분산의 하한에 대한 이론적 보장을 제공한다.

ABSTRACT

Suppose we have data generated according to a multivariate normal distribution with a fixed unknown mean vector that is sparse in the sense of being nearly black. Optimality of Bayes estimates and posterior concentration properties in terms of the minimax risk in the $l_2$ norm corresponding to a very general class of continuous shrinkage priors are studied in this work. The class of priors considered is rich enough to include a great variety of heavy tailed prior distributions, such as, the three parameter beta normal mixtures (including the horseshoe), the generalized double Pareto, the inverse gamma and the normal-exponential-gamma priors. Assuming that the number of non-zero components of the mean vector is known, we show that the Bayes estimators corresponding to this general class of priors attain the minimax risk in the $l_2$ norm (possibly up to a multiplicative constant) and the corresponding posterior distributions contract around the true mean vector at the minimax optimal rate for appropriate choice of the global shrinkage parameter. Moreover, we provide conditions for which these posterior distributions contract around the corresponding Bayes estimates at least as fast as the minimax risk in the $l_2$ norm. We also provide a lower bound to the total posterior variance for an important subclass of this general class of shrinkage priors that includes the generalized double Pareto priors with shape parameter $α=0.5$ and the three parameter beta normal mixtures with parameters $a=0.5$ and $b>0$ (including the horseshoe) in particular. The present work is inspired by the recent work of van der Pas et al. (2014) on the posterior contraction properties of the horseshoe prior under the present set-up. We extend their results for this general class of priors and come up with novel unifying proofs which work for a very broad class of one-group continuous shrinkage priors.

연구 동기 및 목표

• 일반적인 연속 수축 사전분포의 사후 농도 집중 성질을 고차원 희박한 평균 추정에서 연구하기 위해.
• van der Pas 등 (2014)의 말리스 사전분포에 대한 결과를 한 그룹 수축 사전분포의 더 넓은 범주로 확장하기 위해.
• l₂ 손실 하에서 베이즈 추정치에 대해 최소 최대 최적의 사후 수렴 속도를 확립하기 위해.
• 최소 최대 위험에 비해 빠른 사후 수렴을 보장하는 전역 수축 파라미터에 대한 조건을 도출하기 위해.
• 말리스와 일반화된 이중 파레토(α = 1)를 포함하는 일부 하위집합에 대해 총 사후 분산의 하한을 제공하기 위해.

제안 방법

• 저자는 전역 및 국지 수축 파라미터를 갖는 정규분포의 척도 혼합으로 표현된 일반적인 한 그룹 연속 수축 사전분포의 범주를 고려한다.
• 고정되어 있지만 알려지지 않은 고차원 평균을 가진 빈도주의 설정 하에서 진짜 희박한 평균 벡터 주위의 사후 농도 집중을 분석한다.
• 분석은 라플라스 근사와 혼합 밀도 L(t)를 포함하는 적분의 渐近적 경계에 기반하며, 특히 큰 n에 대해 적용된다.
• 핵심 기술 도구로는 변수 변경과 혼합 밀도 L(t)의 성질(예: 단조성 및 유계성)을 이용한 적분 경계 분석이 포함된다.
• 증명은 van der Pas 등 (2014)의 결과, 특히 말리스 사전분포에 대한 분석을 더 넓은 사전분포 범주로 일반화하고 응용한다.
• 사후 밀도의 모멘트 I_{1/2}, I_{3/2}, I_{5/2}를 포함하는 적분의 비율을 분석하여 사후 분산의 상한과 하한을 도출한다.

실험 결과

연구 질문

• RQ1 일반적인 연속 수축 사전분포는 고차원 희박한 평균 추정에서 최소 최대 최적의 사후 수렴 속도를 달성하는가?
• RQ2 전역 수축 파라미터에 어떤 조건이 성립해야 사후 분포가 진짜 평균 주위에서 최소 최대 속도로 수렴하는가?
• RQ3 말리스와 일반화된 이중 파레토와 같은 중요한 하위집합의 사전분포에서 사후 분산은 어떻게 행동하는가?
• RQ4 말리스 사전분포에 사용된 이론적 프레임워크를 유사한 농도 성질을 갖는 더 넓은 범주로 한 그룹 사전분포로 확장할 수 있는가?
• RQ5 말리스와 일반화된 이중 파레토(α = 1)를 포함하는 하위집합에 대해 총 사후 분산의 하한은 무엇인가?

주요 결과

• 비제로 성분의 수가 알려져 있을 경우, 일반적인 수축 사전분포에 기반한 베이즈 추정치는 l₂ 손실 하에서 최소 최대 위험(상수 배수 이내)을 달성한다.
• 희박성 수준에 따라 적절한 전역 수축 파라미터를 선택할 경우, 사후 분포는 진짜 평균 벡터 주위에서 최소 최대 최적의 수렴 속도로 수렴한다.
• 말리스와 일반화된 이중 파레토(α = 1)를 포함하는 하위집합에 대해 총 사후 분산의 하한이 유도되었으며, 이는 점점 커지는 추정의 불확실성조차도 잔존함을 보여준다.
• 사후 분산은 $ \tau \cdot \left( e^{\tau^2 y} \left( \frac{1}{\tau} - \frac{1}{\sqrt{\tau}} \right) \right) $ 비례하는 항으로 아래에서 유계지며, 추정의 지속적인 변동성을 반영한다.
• van der Pas 등 (2014)의 프레임워크는 삼매개수 베타노멀 혼합, 일반화된 이중 파레토, 정규-지수-감마 사전분포를 포함하는 훨씬 더 넓은 사전분포 범주로 일반화된다.
• 증명 기법은 통합적이며 이 범주 전반에 균일하게 적용되며, 다양한 무거운 尾部 사전분포에 대해 동일한 분석 전략이 효과적임을 보여준다.