[논문 리뷰] Frequentist coverage and sup-norm convergence rate in Gaussian process regression

Yun Yang, Anirban Bhattacharya외 1명|arXiv (Cornell University)|2017. 08. 16.

Gaussian Processes and Bayesian Inference참고 문헌 38인용 수 36

한 줄 요약

이 논문은 랜덤 설계 하에서 가우시안 프로세스 회귀에서 베이지안 신뢰구간과 구간의 빈도주의 커버리지 이론을 수립하며, 과소 스무쓰닝된 사전분포가 주어질 경우 커버리지가 명목 수준과 1 사이의 비퇴화된 값으로 수렴하는 보수적인 추론을 보임을 보여준다. 새로운 버진-빈 민츠 결과를 통해 초월 노름에서 최소 최대 최적의 사후 수축률을 유도하였으며, 이는 가우시안 비교 정리와 사후의 정규화된 M-추정량 근사에 의해 검증된다.

ABSTRACT

Gaussian process (GP) regression is a powerful interpolation technique due to its flexibility in capturing non-linearity. In this paper, we provide a general framework for understanding the frequentist coverage of point-wise and simultaneous Bayesian credible sets in GP regression. As an intermediate result, we develop a Bernstein von-Mises type result under supremum norm in random design GP regression. Identifying both the mean and covariance function of the posterior distribution of the Gaussian process as regularized $M$-estimators, we show that the sampling distribution of the posterior mean function and the centered posterior distribution can be respectively approximated by two population level GPs. By developing a comparison inequality between two GPs, we provide exact characterization of frequentist coverage probabilities of Bayesian point-wise credible intervals and simultaneous credible bands of the regression function. Our results show that inference based on GP regression tends to be conservative; when the prior is under-smoothed, the resulting credible intervals and bands have minimax-optimal sizes, with their frequentist coverage converging to a non-degenerate value between their nominal level and one. As a byproduct of our theory, we show that the GP regression also yields minimax-optimal posterior contraction rate relative to the supremum norm, which provides a positive evidence to the long standing problem on optimal supremum norm contraction rate in GP regression.

연구 동기 및 목표

• 랜덤 설계 하에서 가우시안 프로세스 회귀에서의 베이지안 신뢰집합의 빈도주의 타당성을 위한 이론적 프레임워크 수립.
• GP 회귀에서 초월 노름에서 최적의 사후 수축률을 구하는 오랜 동안 미해결된 문제 해결.
• 사전분포가 잘못 지정되거나 과소 스무쓰닝되었을 경우 점별 및 동시 신뢰집합의 커버리지 행동 특성 규명.
• GP 회귀에서 초월 노름에서의 버진-빈 민츠 유형 결과 개발하여 사후 행동과 정규화된 M-추정량 간의 연결 고리 확립.
• 가우시안 비교 정리와 초월 노름에서의 사후 근사에 기반한 빈도주의 커버리지 확률의 정확한 특성화 제공.

제안 방법

• 사후 평균과 중심화된 사후 분포를 두 개의 인구 수준 가우시안 과정으로 근사함으로써 사후의 빈도주의 분석 가능.
• 논문은 사후 평균과 공분산이 정규화된 M-추정량임을 규명하여 베이지안 GP 회귀를 빈도주의 추정 이론과 연결.
• 사후가 진실과의 초월 노름 편차를 제한하기 위해 새로운 가우시안 과정 간 비교 부등식을 개발.
• 함수와 입력 공간에 따라 인덱스가 지정된 확률적 과정의 최대값을 제어하기 위해 잘라낸 텔레스코프 합을 사용한 체이닝 추론에 기반.
• 함수 공간의 커버링 수를 소볼레프 유형의 엔트로피 조건을 통해 유계로 제한하며, 함수 클래스의 정규성에 의해 메트릭 엔트로피 제어.
• 하나의 정밀한 농도 불등식을 사용하여 하중형 초과 증분 하에서의 농도를 분석하며, 체이닝과 메트릭 엔트로피 고려에 기반한 경계 유도.

실험 결과

연구 질문

• RQ1 랜덤 설계 하에서 GP 회귀에서 점별 신뢰구간의 빈도주의 커버리지 확률은 무엇인가?
• RQ2 사전분포가 진실보다 과소 스무쓰닝되었을 경우 동시 신뢰밴드의 커버리지 행동은 어떻게 되는가?
• RQ3 GP 회귀는 초월 노름에서 최소 최대 최적의 사후 수축률을 달성하는가?
• RQ4 랜덤 설계 설정에서 GP 회귀에 대해 초월 노름에서 버진-빈 민츠 정리를 수립할 수 있는가?
• RQ5 비모수적 GP 회귀에서 사전의 스무쓰닝과 베이지안 신뢰집합의 渐近 커버리지 간의 관계는 무엇인가?

주요 결과

• GP 회귀에서의 신뢰구간과 밴드는 보수적이다: 사전분포가 과소 스무쓰닝되었을 경우 빈도주의 커버리지가 명목 수준과 1 사이의 비퇴화된 값으로 수렴한다.
• 초월 노름에서의 사후 수축률은 최소 최대 최적이다. 이는 GP 회귀에서 오랫동안 미해결되었던 문제에 대한 긍정적 해결이다.
• 사후 평균과 중심화된 사후 분포의 표본 분포는 점차적으로 두 개의 인구 수준 가우시안 과정으로 근사되며, 이는 빈도주의 추론 가능하게 한다.
• 초월 노름에서 버진-빈 민츠 유형 결과가 성립하며, 적절한 정규성 조건 하에서 사후가 진실 함수를 최소 최대 속도로 집중한다.
• 신뢰집합의 커버리지가 사전의 스무쓰닝에 매우 민감하게 의존한다: 스무쓰닝이 일치할 경우 점 渐近 명목 커버리지 달성, 과소 스무쓰닝 시 보수적 커버리지 및 최적 크기 확보.
• 이론적으로 초월 노름에서의 사후 수축률이 진실의 정규성과 사전의 정규성의 합으로 유계임을 입증하였으며, 표본 크기와 설계 밀도에 명시적인 의존성 포함.