[논문 리뷰] Empirical Bayes, SURE and Sparse Normal Mean Models

Xianyang Zhang, Anirban Bhattacharya|arXiv (Cornell University)|2017. 02. 17.

Bayesian Methods and Mixture Models참고 문헌 32인용 수 5

한 줄 요약

이 논문은 데이터 기반 위치에 중심을 둔 유한 혼합 사전분포와 0에 대한 점 질량을 포함하는 유한 혼합 사전분포를 사용하여 희박한 정규 평균 모델에 대한 새로운 경험 베이즈 접근법을 제안한다. EM 알고리즘과 등온 회귀를 위한 Pool-Adjacent-Violators(PAV) 알고리즘을 조합함으로써, 주변 가능도 최대화 또는 SURE 최소화를 통한 초모수의 효율적 추정이 가능해지며, 이는 다중 방향 수축을 가지는 사후 중앙값을 도출하여 신호가 군집된 구조를 띨 경우 기존 방법보다 추정 정확도를 향상시킨다.

ABSTRACT

This paper studies the sparse normal mean models under the empirical Bayes framework. We focus on the mixture priors with an atom at zero and a density component centered at a data driven location determined by maximizing the marginal likelihood or minimizing the Stein Unbiased Risk Estimate. We study the properties of the corresponding posterior median and posterior mean. In particular, the posterior median is a thresholding rule and enjoys the multi-direction shrinkage property that shrinks the observation toward either the origin or the data-driven location. The idea is extended by considering a finite mixture prior, which is flexible to model the cluster structure of the unknown means. We further generalize the results to heteroscedastic normal mean models. Specifically, we propose a semiparametric estimator which can be calculated efficiently by combining the familiar EM algorithm with the Pool-Adjacent-Violators algorithm for isotonic regression. The effectiveness of our methods is demonstrated via extensive numerical studies.

연구 동기 및 목표

• 비제로 평균의 군집 구조를 수용할 수 있는 유연한 경험 베이즈 프레임워크를 개발하는 것.
• 슬래브 성분의 데이터 기반 위치 파rameter를 통합하여 전통적인 스파이크-앤플라슬럽 및 GMLEB 방법보다 추정 정확도를 향상시키는 것.
• 반파rametric 모델링을 통해 이방형 설정에서 초모수 추정을 위한 계산적으로 효율적인 방법을 제공하는 것.
• 혼합 모델에서 초모수에 대한 SURE 기반 조정 절차의 이론적 일致성을 확립하는 것.
• 오차 분산이 다양한 이방형 정규 평균 모델로 프레임워크를 확장하는 것.

제안 방법

• 희박한 신호를 모델링하기 위해 0에 점 질량이 있고, 데이터 기반 위치에 중심을 둔 d개의 성분 밀도를 포함하는 유한 혼합 사전분포를 사용한다.
• 초모수를 추정하기 위해 EM 알고리즘을 사용하며, M단계에서는 분산 성분에 대해 가중치가 부여된 등온 회귀를 PAV 알고리즘을 통해 수행한다.
• 이방형성을 효율적으로 다루기 위해 EM과 PAV를 조합한 반파라미터릭 추정기법을 도입한다.
• 위험 성능 향상을 위해 스틴의 불편한 위험 추정(SURE)을 최소화하여 초모수를 조정한다.
• 초모수 추정을 위한 SURE의 대안으로 주변 가능도 최대화를 사용한다.
• 사후 중앙값을 다중 방향 수축을 가지는 임계치 규칙으로 적용하여, 0 또는 가장 가까운 데이터 기반 중심으로 관측치를 수축시킨다.

실험 결과

연구 질문

• RQ1 데이터 기반 성분 중심을 가진 유한 혼합 사전분포는 전통적인 경험 베이즈 방법보다 희박한 정규 평균 모델에서 추정 정확도를 향상시킬 수 있는가?
• RQ2 제안된 EM+PAV 알고리즘이 이방형 희박한 정규 평균 모델에서 효율적이고 일관된 추정을 가능하게 하는가?
• RQ3 위험 성능 측면에서 SURE 기반 초모수 조정이 주변 가능도 최대화를 초월할 수 있는가?
• RQ4 사후 중앙값의 다중 방향 수축 성질이 스파이크-앤플라슬럽 모델의 전통적 0 중심 수축과 비교해 어떻게 다른가?
• RQ5 제안된 혼합 모델 하에서 SURE 기반 조정 절차의 이론적 일관성은 무엇인가?

주요 결과

• 제안된 모델에서 사후 중앙값은 다중 방향 수축을 가지는 임계치 규칙이며, 관측치를 0 또는 가장 가까운 데이터 기반 중심으로 수축시키며, 신호가 군집된 경우 성능 향상을 이룬다.
• 수치적 연구 결과, 비제로 평균이 군집된 구조를 띨 경우 이 방법은 제임스-스타인 추정기보다 유의미하게 뛰어난 성능을 보인다.
• SURE 기반 초모수 조정 절차는 위험 추정의 균일 일관성 결과를 통해 이론적으로 정당화된다.
• EM+PAV 알고리즘은 이방형 모델에서 효율적인 계산을 가능하게 하며, 분산 및 위치 추정을 위한 등온 회귀와 EM을 통합한다.
• 초모수 추정에서 균일 일관성을 달성하며, 추정 오차는 $ O_pig( ( ext{log } p)^{3/2} / ext{sqrt}(p) ig) $ 의 속도로 감소한다.
• 데이터 기반 중심을 가진 유한 혼합 사전분포는 스파이크-앤플라슬럽과 완전히 비모수적 사전분포 사이의 민감한 중간 모델을 제공하며, 희박성과 적응성의 균형을 이룬다.