[논문 리뷰] Optimal Bayesian estimation in random covariate design with a rescaled Gaussian process prior

Debdeep Pati, Anirban Bhattacharya외 1명|arXiv (Cornell University)|2014. 11. 26.

Gaussian Processes and Bayesian Inference참고 문헌 28인용 수 10

한 줄 요약

이 논문은 제곱지수형 커널을 가진 스케일링된 가우시안 프로세스 사전분포를 도입함으로써, 무작위 공변량 설계 하에서 비모수적 회귀의 최적 후행 농도를 확립한다. 진짜 함수의 부드러움이 알려져 있지 않은 경우에도 적절하게 사전분포를 스케일링함으로써, 저자들은 로그 인자들을 제외한 최소 최대 최적 수렴 속도 $n^{-\alpha/(2\alpha+d)}$ 를 달성한다. 이는 이전의 베이지안 비모수 이론에서 무작위 설계 하에서의 핵심 한계를 극복한다.

ABSTRACT

In Bayesian nonparametric models, Gaussian processes provide a popular prior choice for regression function estimation. Existing literature on the theoretical investigation of the resulting posterior distribution almost exclusively assume a fixed design for covariates. The only random design result we are aware of (van der Vaart & van Zanten, 2011) assumes the assigned Gaussian process to be supported on the smoothness class specified by the true function with probability one. This is a fairly restrictive assumption as it essentially rules out the Gaussian process prior with a squared exponential kernel when modeling rougher functions. In this article, we show that an appropriate rescaling of the above Gaussian process leads to a rate-optimal posterior distribution even when the covariates are independently realized from a known density on a compact set. The proofs are based on deriving sharp concentration inequalities for frequentist kernel estimators; the results might be of independent interest.

연구 동기 및 목표

• 무작위 공변량 설계 하에서 가우시안 프로세스 사전분포에 대한 이론적 보장을 제공하지 못하는 문제를 해결하기 위해.
• 이전 연구에서 진짜 함수가 사전분포가 지원하는 부드러움 클래스에 거의 확률 1로 속해야 한다는 제한적인 가정을 극복하기 위해.
• 진짜 함수의 유한한 부드러움 $\alpha > 1/2$ 인 경우에도, 제곱지수형 커널을 사용할 때 후행 분포의 속도 최적성을 확립하기 위해.
• 무작위 설계 설정에서 통합 $L_1(q)$ 손실 하의 후행 농도에 대한 이론적 프레임워크를 개발하기 위해.

제안 방법

• 모르는 부드러움 $\alpha$ 와 표본 크기 $n$ 에 따라 의존하는 수열 $a_n$ 으로 샘플 경로가 스케일링된 가우시안 프로세스 사전분포를 도입한다.
• 진짜 함수를 크기 $\epsilon_n$ 의 이웃 영역 내의 대안들과 구분하기 위해 테스트 함수 $\Phi_n = \mathbf{1}(\|\tilde{f}_n - f_0\|_1 > M\epsilon_n/2)$ 를 사용한다.
• 통계적 커널 추정기의 농도 부등식을 활용하여 통합 $L_1(q)$ 거리 기준 후행 분포의 행동을 통제한다.
• 테스트 함수 구성에서 분산 항을 유계로 만들기 위해 탈랑랑의 부등식을 적용하여 후행 농도를 확보하기 위한 필요 조건을 만족시킨다.
• 스케일링된 사전분포와 설계 밀도 $q$ 의 성질을 이용하여 핵심 조건: (PCS), (BT), (DT), (BS), (DS), (PCN) 을 검증함으로써 후행 농도를 확립한다.
• 우도 비율과 사전분포의 농도 성질을 이용하여 진실 주변의 이웃 영역의 여집합에 대한 후행 확률을 유계로 만들고, 후행 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 표준 제곱지수형 커널을 가진 가우시안 프로세스 사전분포는 무작위 공변량 설계 하에서 비모수적 회귀에서 속도 최적의 후행 농도를 달성할 수 있는가?
• RQ2 진짜 함수의 유한한 부드러움 $\alpha > 1/2$ 인 경우, 최소 최대 최적 속도 $n^{-\alpha/(2\alpha+d)}$ 를 달성하기 위해 사전분포 스케일링에 필요한 조건은 무엇인가?
• RQ3 통합 $L_1(q)$ 거리 기준 하에서 후행 농도를 어떻게 확립할 수 있는가? 이는 표본 외 예측에 더 관련이 있는 반면, 고정 설계 설정에서 사용되는 경험적 $L_2$ 노름보다 더 적합하다.
• RQ4 사전분포가 진짜 부드러움 클래스에 확률 1을 할당해야 한다는 조건 없이도 최적의 후행 속도를 달성할 수 있는가?

주요 결과

• 무작위 설계 하에서 통합 $L_1(q)$ 거리 기준 하에서 후행 분포는 로그 인자들을 제외한 최소 최대 최적 속도 $n^{-\alpha/(2\alpha+d)}$ 를 달성한다.
• 표본 크기 $n$ 과 $\alpha$ 에 따라 의존하는 스케일링 파라미터 $a_n$ 을 가진 스케일링된 가우시안 프로세스 사전분포는, 표준 사전분포가 실패할 수 있는 경우에도 $\alpha$-부드러운 함수에 대해 속도 최적성을 보장한다.
• 베르더 바르트와 반 츠란트(2011)의 제한적인 가정인 사전분포가 진짜 부드러움 클래스에 확률 1을 할당해야 한다는 조건을 피함으로써, 더러운 함수에 대해 제곱지수형 커널의 사용이 가능해진다.
• 증명은 통계적 커널 추정기의 정밀한 농도 부등식에 의존하며, 이는 주요 결과 이외의 분야에서도 독립적인 관심을 끌 수 있다.
• 후행 농도는 테스트 함수와 우도 비율의 논증을 통해 확립되며, 탈랑랑의 부등식과 사전분포의 농도 성질을 이용해 유도된 유계를 사용한다.
• 이 방법은 $L_1(q)$ 손실 하에서 최적의 속도를 달성한다. 이는 고정 설계 설정에서 사용되는 경험적 $L_2$ 노름과 달리, 무작위 설계에서 예측 성능에 더 적합하다.