[논문 리뷰] Asymptotically optimal empirical Bayes inference in a piecewise constant sequence model

Ryan Martin, Weining Shen|arXiv (Cornell University)|2017. 12. 11.

Bayesian Methods and Mixture Models인용 수 4

한 줄 요약

이 논문은 점근적으로 최적의 사후 집중률을 달성하는 조각별로 일정한 가우시안 시계열 모델을 위한 경험 베이즈 방법을 제안한다. 공액 경험 사전분포를 사용함으로써, 계산적으로 효율적인 사후 추론을 가능하게 하는 적응형 최소최대 추정이 가능해진다.

ABSTRACT

Inference on high-dimensional parameters in structured linear models is an important statistical problem. In this paper, for the piecewise constant Gaussian sequence model, we develop a new empirical Bayes solution that enjoys adaptive minimax posterior concentration rates and, thanks to the conjugate form of the empirical prior, relatively simple posterior computations.

연구 동기 및 목표

• 선형 모델에서 고차원 구조적 매개변수 추론의 과제를 해결하기 위해.
• 조각별 일정한 가우시안 시계열 모델을 위한 최소최대 최적의 경험 베이즈 절차를 개발하기 위해.
• 다양한 부드러움 수준에서 적응형 사후 집중률을 보장하기 위해.
• 공액 사전분포 구성으로 계산적으로 다룰 수 있는 사후 추론을 가능하게 하기 위해.

제안 방법

• 데이터 기반의 조정 파rameter를 사용하여 조각별 일정한 구조를 반영하는 경험 사전분포를 구성하는 방법.
• 해석적 다루기 쉬움과 효율적인 사후 계산을 보장하기 위해 공액 사전분포 프레임워크를 활용하는 방법.
• 데이터로부터 조정 파rameter를 선택하여 알려지지 않은 부드러움에 적응하는 경험 베이즈 절차.
• 비점근적 집중 부등식과 경험 과정 도구를 사용하여 사후 집중률을 유도하는 방법.
• 조각별 일정한 세그먼트 간의 편향과 분산을 균형 잡음으로써 최소최대 속도를 달성하는 방법.
• 시퀀스의 알려지지 않은 변화점의 수와 위치에 대해 적응 가능함을 보여주는 방법.

실험 결과

연구 질문

• RQ1 경험 베이즈 접근이 조각별 일정한 시퀀스 모델에서 최소최대 사후 집중률을 달성할 수 있는가?
• RQ2 변화점의 수나 위치에 대한 사전 지식 없이 어떻게 적응형 추정을 달성할 수 있는가?
• RQ3 고차원 구조적 모델에서 최적의 사후 집중을 달성하는 데 있어 계산 가능성은 어떻게 보장되는가?
• RQ4 공액 사전분포가 경험 베이즈 프레임워크에서 최적성과 다루기 용이성을 균형 잡는 데 효과적으로 사용될 수 있는가?

주요 결과

• 제안된 경험 베이즈 방법은 모든 부드러움 수준에서 점근적으로 최적의 사후 집중률을 달성한다.
• 모델의 수를 포함한 알려지지 않은 구조적 특성(예: 변화점의 수와 위치)에 적응한다.
• 경험 사전분포의 공액 형태 덕분에 사후 계산이 효율적으로 유지된다.
• 기본적인 조각별 일정한 구조에 대한 사전 지식 없이도 최소최대 속도를 달성한다.
• 이론적 분석을 통해 사후가 최적 속도로 수축함을 확인하였으며, 이는 최소최대 하한선과 일치한다.
• 조정 파rameter 선택에서 모형 잘못 지정에 대해 강건함을 보여준다.