[논문 리뷰] Scaling the Gibbs posterior credible regions

Nicholas Syring, Ryan R. Martin|arXiv (Cornell University)|2015. 09. 03.

Statistical Methods and Inference참고 문헌 33인용 수 13

한 줄 요약

이 논문은 손실 기반 추론에서 깁스 사후분포의 스케일링 파라미터를 적응적으로 校正하는 데 목적이 있는 겹치는 사후 스케일링(Gibbs Posterior Scaling, GPS) 알고리즘을 제안한다. 이는 정확하고 효율적인 신뢰영역을 보장한다. 분위수 회귀에서 정확한 校정을 달성하기 위해 스케일을 최적화함으로써 GPS는 다른 베이지안 유사 방법보다 더 잘 校정되고 더 효율적인 신뢰구간을 생성한다.

ABSTRACT

In some applications, the relationship between the observable data and unknown parameters is described via a loss function rather than likelihood. In such cases, the standard Bayesian methodology cannot be used, but a Gibbs posterior distribution can be constructed by appropriately using the loss in place of a likelihood. Although misspecified by definition, Gibbs posteriors have a number of desirable properties; for example, we show that the Gibbs posterior converges at the same rate as the corresponding M-estimator. Inference based on the Gibbs posterior is not straight- forward, however, because the finite-sample performance is highly sensitive to the scale of the loss function. To meet this challenge, we propose a Gibbs Posterior Scaling (GPS) algorithm that adaptively selects the scaling in order to calibrate the corresponding Gibbs posterior credible regions. In the important quantile regres- sion problem, we show numerically that our Gibbs posterior credible intervals, with scale selected by the GPS algorithm, are exactly calibrated and are more efficient than those obtained via other Bayesian-like methods.

연구 동기 및 목표

• 손실 함수의 척도가 알려져 있거나 잘못 지정된 경우 유한 표본에서 깁스 사후 추론의 校정 문제를 해결하기 위해.
• 신뢰할 수 있는 신뢰영역을 보장하기 위해 깁스 사후분포의 스케일링 파라미터를 적응적으로 선택하는 방법을 개발하기 위해.
• 가능한 한 정확한 신뢰구간의 효율성과 校정을 향상시키기 위해, 특히 우도 기반 방법이 적용 불가능한 핵심 응용 분야인 분위수 회귀에서.
• M-추정기의 성능을 따라가면서도 베이지안 해석 가능성을 유지하는 실용적이고 데이터 기반의 깁스 사후 스케일링 접근법을 제공하기 위해.

제안 방법

• GPS 알고리즘은 신뢰영역의 경험적 커버리지가 명목 커버리지와 일치하도록 보장하는 기준을 최소화하여 깁스 사후분포의 스케일링 파라미터를 적응적으로 선택한다.
• 이 방법은 우도 대신 손실 함수를 사용하여 깁스 사후분포를 정의하며, 스케일링 파라미터는 최적화되어야 할 조정 변수로 간주된다.
• 스케일링은 다중 데이터 분할에서의 신뢰구간 커버리지 성능을 평가하는 교차검증 유사 절차를 통해 선택된다.
• 이 접근법은 유한 표본에서 정의된 커버리지 확률을 보장하는 데 기반한 빈도주의 校정 원칙에 뿌리를 두고 있다.
• 이 알고리즘은 분위수 회귀에 적용되었으며, 다른 베이지안 유사 방법보다 校정과 효율성 측면에서 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 손실 함수의 척도가 알려져 있거나 잘못 지정된 경우, 유한 표본에서 깁스 사후 신뢰영역을 어떻게 校정할 수 있는가?
• RQ2 적응적 스케일링 절차가 실질적으로 깁스 사후 신뢰구간의 커버리지 정확도를 향상시킬 수 있는가?
• RQ3 GPS로 계산된 신뢰구간의 성능은 분위수 회귀에서 다른 베이지안 유사 방법과 비교해 어떻게 되는가?
• RQ4 GPS 알고리즘은 손실 기반 추론에서 기저의 M-추정기와 동일한 수렴 속도를 유지하는가?
• RQ5 완전한 우도 모델링이 필요 없이도 정확한 校정을 보장할 수 있도록 스케일링 파라미터를 선택할 수 있는가?

주요 결과

• GPS 알고리즘은 분위수 회귀에서 명목 커버리지 수준과 정확히 일치하는 깁스 사후 신뢰구간을 성공적으로 생성한다.
• GPS를 통해 확보된 신뢰구간은 간격 너비 측정 기준으로 다른 베이지안 유사 방법보다 더 효율적이다.
• GPS 하의 깁스 사후분포는 해당 M-추정기와 동일한 속도로 수렴하며, 빈도주의 최적성 특성을 유지한다.
• 손실 함수의 척도가 잘못 지정된 경우에도 강인하여, 스케일링이 알려져 있지 않은 실세계 응용 분야에 적합하다.
• 수치 결과는 GPS가 校정과 효율성을 모두 향상시키며, 기존 대안보다 분위수 회귀 설정에서 뛰어난 성능을 보임을 입증한다.