[논문 리뷰] On the inability of Gaussian process regression to optimally learn compositional functions

Matteo Giordano, Kolyan Ray외 1명|arXiv (Cornell University)|2022. 05. 16.

Gaussian Processes and Bayesian Inference인용 수 7

한 줄 요약

이 논문은 표준 가우시안 프로세스(GP) 회귀가 구성 함수—특히 일반화된 가산 모델—을 최적으로 학습할 수 없다는 것을 보여준다. 이는 사후 수축 속도에 내재된 제한성 때문이며, 최적의 커널을 선택하더라도 GP 사전분포는 진짜 함수로 수렴하는 속도가 샘플 크기의 다항식 인자로 인해 최소화된 최적 속도보다 엄격히 느리게 수렴한다. 반면 딥 가우시안 프로세스는 최소화된 최적 속도를 달성하며, 이러한 구조적 함수에 대해 통계적으로 열등함을 입증한다.

ABSTRACT

We rigorously prove that deep Gaussian process priors can outperform Gaussian process priors if the target function has a compositional structure. To this end, we study information-theoretic lower bounds for posterior contraction rates for Gaussian process regression in a continuous regression model. We show that if the true function is a generalized additive function, then the posterior based on any mean-zero Gaussian process can only recover the truth at a rate that is strictly slower than the minimax rate by a factor that is polynomially suboptimal in the sample size $n$.

연구 동기 및 목표

• 표준 가우시안 프로세스 사전분포가 구성 함수를 학습할 때 겪는 구조적 한계를 규명하는 것.
• GP 회귀에 대한 사후 수축 속도에 대한 정보이론적 하한을 엄밀히 확립하는 것.
• 모든 중심이 0인 GP 사전분포가 일반화된 가산 모델에 대해 최적의 추정 속도를 달성하지 못한다는 것을 보여주는 것.
• GP 성능을 구성 클래스에 대해 최소화된 수축 속도를 달성하는 딥 가우시안 프로세스와 대비시키는 것.
• 진짜 함수가 구성 구조를 가질 경우 베이지안 비모수 모델링에서 더 깊은 사전분포를 사용할 이론적 근거를 제공하는 것.

제안 방법

• 저자는 연속적인 가우시안 화이트 노이즈 회귀 모델에서 사후 수축 속도를 분석하며, 이는 i.i.d. 설계 포인트를 가진 비모수 회귀와 동치이다.
• 그들은 카르누엔-로브 전개를 사용하여 GP 사전분포를 표현하고, 회귀 문제를 정규직교 기저에서 계수의 순차 모델로 변환한다.
• 사용된 새로운 증명 기법은 기저 전개에서 사후 평균의 구조를 활용하여 GP 사후 평균의 예측 리스크를 직접적으로 경계한다.
• 이 방법은 GP 공분산 연산자의 고유값의 감쇠 성질을 이용하여 사후 평균의 리스크에 하한을 설정한다.
• 보충 자료의 두 번째 증명은 문제를 희소 시퀀스 모델로 환원하여 선형 속도 하한을 유도하며, 이는 원래 모델에서의 부적합성을 입증하는 데 충분하다.
• 분석은 Kakutani의 곱형 마틴갈레 정리를 사용하여 순차 표현에서 우도와 사후 분포를 유도한다.

실험 결과

연구 질문

• RQ1 표준 가우시안 프로세스 사전분포는 일반화된 가산 모델에 대해 최소화된 사후 수축 속도를 달성할 수 있는가?
• RQ2 GP 회귀에는 구성 함수의 최적 복원을 방해하는 본질적인 통계적 제약이 존재하는가?
• RQ3 GP 사전분포의 사후 수축 속도는 일반화된 가산 함수에 대해 최소화된 속도와 어떻게 비교되는가?
• RQ4 딥 가우시안 프로세스는 이러한 제약을 극복하고 이러한 함수에 대해 최소화된 속도를 달성할 수 있는가?
• RQ5 GP 사전분포의 어떤 구조적 특성이 구성 함수 클래스에서의 부적합한 추정 속도를 초래하는가?

주요 결과

• 일반화된 가산 모델에서, 중심이 0인 임의의 가우시안 프로세스 사전분포는 샘플 크기 n에 대해 최소화된 최적 속도보다 다항식 인자로 인해 엄격히 느린 사후 수축 속도를 가진다.
• 부적합성은 GP 사전분포의 구조에 내재되어 있으며, 공분산 커널의 선택과는 독립적이다.
• GP의 사후 평균은 최소화된 속도를 달성할 수 없으며, 이는 사후 질량의 상당 부분이 진짜 함수의 최소화된 $L^2$-근접 이웃 외부에 위치함을 의미한다.
• 반면, 딥 가우시안 프로세스는 일반화된 가산 모델을 포함한 임의의 구성 클래스에 대해 최소화된 사후 수축 속도를 달성함을 증명하였다.
• 이 논문은 표준 GPs와 딥 GPs 사이의 이론적 격차를 확립하며, 구조적 함수에 대해 비모수 베이지안 모델링에서 더 깊은 사전분포를 사용할 근거를 제시한다.
• 새로운 증명 기법을 통해 GP 사후 평균의 예측 리스크를 직접적으로 경계함으로써, 추상적인 농도 함수 조건에 의존하지 않는 결과를 도출하였다.