[논문 리뷰] Bayesian mode and maximum estimation and accelerated rates of contraction

William Weimin Yoo, Subhashis Ghosal|arXiv (Cornell University)|2016. 08. 12.

Gaussian Processes and Bayesian Inference참고 문헌 24인용 수 5

한 줄 요약

이 논문은 가우시안 사전분포를 갖는 텐서곱 B스플라인을 사용하여 비모수 회귀함수의 최대값과 최빈값을 추정하기 위한 베이지안 이단계 절차를 제안한다. 고정된 샘플링과 순차적 샘플링 조건 하에서 최대값과 최빈값에 대한 최적의 사후 수축 속도를 확립하였으며, 이중단계 베이지안 접근법이 초기 단계의 사후 불확실성을 활용하여 표본을 타겟팅함으로써 최소 최대 순차적 속도에로의 수렴을 가속화함을 보여준다.

ABSTRACT

We study the problem of estimating the mode and maximum of an unknown regression function in the presence of noise. We adopt the Bayesian approach by using tensor-product B-splines and endowing the coefficients with Gaussian priors. In the usual fixed-in-advanced sampling plan, we establish posterior contraction rates for mode and maximum and show that they coincide with the minimax rates for this problem. To quantify estimation uncertainty, we construct credible sets for these two quantities that have high coverage probabilities with optimal sizes. If one is allowed to collect data sequentially, we further propose a Bayesian two-stage estimation procedure, where a second stage posterior is built based on samples collected within a credible set constructed from a first stage posterior. Under appropriate conditions on the radius of this credible set, we can accelerate optimal contraction rates from the fixed-in-advanced setting to the minimax sequential rates. A simulation experiment shows that our Bayesian two-stage procedure outperforms single-stage procedure and also slightly improves upon a non-Bayesian two-stage procedure.

연구 동기 및 목표

• 잡음이 존재하는 상황에서 알려지지 않은 회귀함수의 최빈값과 최대값을 추정하기 위한 베이지안 프레임워크를 개발하는 것.
• 사전에 고정된 샘플링 조건 하에서 최빈값과 최대값에 대한 최적의 사후 수축 속도를 확립하는 것.
• 최적 크기와 높은 점점적 커버리지 확보를 위한 최빈값과 최대값에 대한 신뢰구간을 구성하는 것.
• 첫 번째 단계의 사후 불확실성을 활용하여 두 번째 단계 샘플링을 이끌어내는 베이지안 이단계 절차를 제안하여 수축 속도를 가속화하는 것.
• 이중단계 베이지안 방법이 최소 최대 순차적 속도를 달성하고 단일단계 및 비베이지안 이단계 방법보다 우월함을 보여주는 것.

제안 방법

• 알려지지 않은 회귀함수를 표현하기 위해 텐서곱 B스플라인을 사용하고, 계수에 가우시안 사전분포를 부여한다.
• 오차 분산 σ² 에 대해 연속적이고 양수인 사전분포를 사용하는 계층적 베이지안 모델을 적용하여 사후 추론을 가능하게 한다.
• 최빈값과 최대값의 추정 오차를 함수 및 그 1차 도함수의 초등 오차와 연결함으로써 사후 수축 속도를 확립한다.
• 사후 분포의 분위수를 사용하여 함수와 그 도함수에 대한 동시 신뢰밴드를 구성하며, 이는 최적 크기와 높은 커버리지 확보를 보장한다.
• 이중단계 베이지안 절차를 구현: 첫 번째 단계 사후 분포로부터 신뢰집합을 도출하고, 두 번째 단계 데이터는 이 집합 내에서 수집된다.
• 첫 번째 단계의 사후 분포를 두 번째 단계의 사전분포로 사용하여 순차적 학습을 가능하게 하고 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전에 고정된 샘플링 조건 하에서 비모수 회귀함수의 최빈값과 최대값을 추정할 때 최적의 사후 수축 속도는 무엇인가?
• RQ2 베이지안 프레임워크 하에서 최빈값과 최대값에 대한 신뢰집합을 최적 크기와 높은 점점적 커버리지로 구성할 수 있는가?
• RQ3 베이지안 이단계 절차는 고정된 샘플링 설정을 초월하여 사후 수축 속도를 가속화할 수 있는가?
• RQ4 베이지안 이단계 접근법은 최빈값과 최대값 추정에 대해 최소 최대 순차적 속도를 달성하는가?
• RQ5 제안된 베이지안 이단계 절차의 성능은 단일단계 및 비베이지안 이단계 방법과 비교하여 어떠한가?

주요 결과

• 최빈값에 대한 사후 수축 속도는 $ n^{-(ar{\beta}-1)/(2\bar{\beta}+d)} $ 로, 고정된 샘플링 조건 하에서 최소 최대 속도와 일치한다. 여기서 $ \bar{\beta} $ 는 부드러움 파라미터이다.
• 최대값에 대한 사후 수축 속도는 $ n^{-\bar{\beta}/(2\bar{\beta}+d)} $ 로, 고정된 샘플링 조건 하에서 최소 최대 속도와 일치한다.
• 최빈값과 최대값에 대한 신뢰집합은 최적 크기 $ (\text{log}\thinspace n / n)^{\bar{\beta}/(2\bar{\beta}+d)} $ 를 가지며, 점점적 커버리지 확률이 1로 수렴한다.
• 첫 번째 단계의 신뢰집합 반경에 적절한 조건이 만족될 경우, 이중단계 베이지안 절차는 최소 최대 순차적 수축 속도를 달성한다: 최빈값에 대해 $ n^{-(\bar{\beta}-1)/(2\bar{\beta})} $, 최대값에 대해 $ n^{-1/2} $.
• 시뮬레이션 결과는 베이지안 이단계 절차가 단일단계 베이지안 방법보다 우월하고, 비베이지안 이단계 절차보다 약간 더 높은 추정 정확도를 보임을 보여준다.
• 이론은 비균일한 홀더 부드러움 하에서도 강건하며, 최소 부드러움 지수 $ \bar{\beta} $ 에 따라 수축 속도가 결정되며, $ \bar{\beta} > 1 + \frac{1}{2}\big(1 + \frac{d}{2}\big)^{1/2} $ 일 때 가속화를 달성한다.