[논문 리뷰] Minimax Optimal Bayesian Aggregation

Yun Yang, David B. Dunson|arXiv (Cornell University)|2014. 03. 06.

Advanced Statistical Methods and Models참고 문헌 23인용 수 16

한 줄 요약

이 논문은 회귀에서 추정기의 볼록 조합 및 선형 조합에 대해 Dirichlet 사전을 사용한 최소최대 최적의 베이지안 집계 방법을 제안하며, M-closed 및 M-open 설정 모두에서 최적의 사후 집중 속도를 달성한다. 이 방법은 조정 파rameter가 없으며, 희박성에 적응하고 진짜 모형이 모형 공간 외부에 있을 경우에도 최소최대 속도로 가장 좋은 근사 모형을 일관되게 타겟으로 삼는다.

ABSTRACT

It is generally believed that ensemble approaches, which combine multiple algorithms or models, can outperform any single algorithm at machine learning tasks, such as prediction. In this paper, we propose Bayesian convex and linear aggregation approaches motivated by regression applications. We show that the proposed approach is minimax optimal when the true data-generating model is a convex or linear combination of models in the list. Moreover, the method can adapt to sparsity structure in which certain models should receive zero weights, and the method is tuning parameter free unlike competitors. More generally, under an M-open view when the truth falls outside the space of all convex/linear combinations, our theory suggests that the posterior measure tends to concentrate on the best approximation of the truth at the minimax rate. We illustrate the method through simulation studies and several applications.

연구 동기 및 목표

• M-closed 및 M-open 설정 모두에서 사후 집중 속도의 최소최대 최적 속도를 달성하는 베이지안 집계 프레임워크를 개발하는 것.
• 기존의 베이지안 모형 평균화의 한계를 해결하기 위해 조정 파rameter에 의존하지 않으며, 모형 가중치의 희박성에 자동으로 적응할 수 있도록 하는 것.
• 사용자에 의해 지정된 초모수 없이도 진짜 데이터 생성 모형을 정확히 반영할 수 있도록 이론적으로 탄탄한, 조정 파ram터가 없는 방법을 제공하는 것.
• 오직 일부 모형만 가중치가 주어져야 하는 희박한 설정으로 확장하여, 희박성 수준을 데이터로부터 학습하는 것.

제안 방법

• 가중치 벡터 λ에 대해 Dirichlet 집계(DA) 사전을 제안하며, λ_j = T_j / (T_1 + ... + T_M) 이고 T_j ~ Gamma(ρ, 1) 이다. 이는 효율적인 MCMC 샘플링을 가능하게 한다.
• φ(정밀도)에 대해 게이브스 샘플링, log T_j에 대해 메트로폴리스-해스팅스 업데이트를 사용하는 블록 MCMC 알고리즘을 사용하여 가중치의 사후 분포를 탐색한다.
• 선형 집계의 경우 잠재 변수를 추가하여 사전을 확장한다: z_j ~ Bernoulli(0.5) 및 A ~ Gamma(c_0, d_0)로 하여 λ_j의 부호 및 척도 조정을 가능하게 한다.
• A 및 z_j에 대해 메트로폴리스-해스팅스 업데이트를 구현하여 희박한 선택을 가능하게 하며, z_j는 모형 j의 포함/제외를 제어한다.
• 효율적인 MCMC 업데이트를 위해 로그-수용 비율에 로그-우도, 로그-사전, 로그-전이 확률 항을 통합한다.
• 이 방법은 자동으로 희박성(||λ||_0 = s)을 학습하고, 사용자가 지정한 조정 파ram터 없이 최소최대 최적의 사후 집중을 달성하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 진짜 모형이 후보 모형의 볼록 조합 또는 선형 조합일 경우, 베이지안 집계 방법이 최소최대 최적의 사후 집중 속도를 달성할 수 있는가?
• RQ2 진짜 모형이 후보 모형의 볼록 또는 선형 스펜 외부에 있을 경우(즉, M-open 설정에서), 제안된 베이지안 집계는 어떻게 성능을 보이는가?
• RQ3 희박성 수준을 미리 지정하지 않고도 모형 가중치의 희박성에 적응할 수 있는가?
• RQ4 사용자에 의해 지정된 조정 파ram터 없이도 여전히 최적의 빈도주의 위험 속도를 달성할 수 있는가?

주요 결과

• 제안된 Dirichlet 집계 방법은 M-closed 및 M-open 설정 모두에서 볼록 및 선형 집계 공간에서 최소최대 최적의 사후 집중 속도를 달성한다.
• M-open 설정에서, 진짜 모형이 모형 공간에 없더라도 최소최대 속도로 가장 좋은 진짜 모형의 근사치에 사후가 집중된다.
• 모르는 희박성 수준에 자동으로 적응하며, 조정 파ram터 없이 관련이 없는 모형에 대해 가중치를 0으로 할당한다.
• 이론적 분석을 통해 사후 측도가 사용자에 의해 지정된 초모수 없이도 최소최대 최적의 진짜 모형 근사치로 수렴하는 것으로 확인된다.
• 시뮬레이션 연구 및 응용 사례를 통해 기존의 집계 기법들에 비해 이 방법의 강인성과 뛰어난 성능이 입증된다.
• MCMC 구현은 효율적이고 안정적이며, 메트로폴리스-해스팅스 업데이트에서 적응적 스케일링을 통해 약 40%의 수용률을 유지한다.