[논문 리뷰] Adaptive Bayesian Estimation via Block Prior

Chao Gao, Harrison H. Zhou|arXiv (Cornell University)|2013. 12. 13.

Blind Source Separation Techniques참고 문헌 2인용 수 5

한 줄 요약

이 논문은 진짜 신호의 유효 차원에 자동으로 집중하는 블록 사전을 도입하여 부드러움 또는 표본 크기의 지식이 없이도 적응형 베이지안 추정을 가능하게 한다. 다양한 비모수 모델, 예를 들어 밀도 추정과 가우시안 회귀에서 최적의 후행 수축 속도를 달성한다.

ABSTRACT

A novel block prior is proposed for adaptive Bayesian estimation. The prior does not depend on the smoothness of the function and the sample size. It puts sufficient prior mass near the true signal and automatically concentrates on its effective dimension. A rate-optimal posterior contraction is obtained in a general framework, which includes density estimation, white noise model, Gaussian sequence model, Gaussian regression and spectral density estimation.

연구 동기 및 목표

• 알 수 없는 부드러움과 표본 크기에서 적응하는 사전을 개발하는 것.
• 고차원 함수 공간에서 진짜 신호 근처에 충분한 사전 질량이 집중되도록 보장하는 것.
• 다양한 통계 모델을 포함하는 일반적인 프레임워크에서 최적의 후행 수축 속도를 달성하는 것.
• 후행 추론에서 부드러움이나 표본 크기에 따라 달라지는 조정 파rameter가 필요 없도록 하는 것.

제안 방법

• 신호 구조에 기반해 매개변수 공간을 블록으로 분할하는 새로운 블록 사전을 제안한다.
• 진짜 신호의 유효 차원에 해당하는 블록에 대해 사전 질량을 적응적으로 할당하도록 설계한다.
• 관련 함수 성분에서 희박성을 장려하는 계층적 사전 구조를 활용한다.
• 모델 전반에서 후행 수축이 최소화된 속도로 이루어지는 이론적 조건을 확립한다.
• 밀도 추정, 화이트 노이즈, 가우시안 시퀀스, 회귀, 스펙트럼 밀도 추정 등 다양한 모델에 이 프레임워크를 적용한다.
• 집중 성질을 통해 사전이 알 수 없는 부드러움과 표본 크기에 자동으로 적응함을 보여준다.

실험 결과

연구 질문

• RQ1 명시적인 조정 없이도 알 수 없는 부드러움과 표본 크기에 적응하는 사전를 구성할 수 있는가?
• RQ2 블록 사전이 비모수 모델에서 최적의 후행 수축 속도를 달성하는가?
• RQ3 사전가 진짜 신호의 유효 차원에 어떻게 집중되는가?
• RQ4 밀도 추정과 회귀와 같은 다양한 모델에 이 프레임워크를 균일하게 적용할 수 있는가?
• RQ5 부드러움을 가정하지 않고도 후행 집중을 보장하는 이론적 보장은 무엇인가?

주요 결과

• 블록 사전은 일반적인 비모수 프레임워크에서 최적의 후행 수축 속도를 달성한다.
• 부드러움의 지식 없이도 진짜 신호의 유효 차원에 자동으로 집중된다.
• 모든 고려된 모델에서 후행 수축 속도가 최소화된 최적 속도와 일치한다.
• 표본 크기 또는 부드러움 파rameter에 따라 조정이 필요하지 않다.
• 밀도 추정, 화이트 노이즈, 가우시안 시퀀스, 회귀, 스펙트럼 밀도 추정 등 모든 모델에 균일하게 적용 가능하다.
• 이론적 분석을 통해 일반 조건 하에서 진짜 신호 근처에 충분한 사전 질량이 배정됨을 확인한다.