[논문 리뷰] Guided Deep Kernel Learning

Idan Achituve, Gal Chechik외 1명|arXiv (Cornell University)|2023. 02. 19.

Gaussian Processes and Bayesian Inference인용 수 5

한 줄 요약

이 논문은 신경망 가우시안 프로세스(NNGP)의 불확실성 추정을 활용하여 딥 커널 러닝(DKL) 모델의 학습을 안내하는 새로운 방법인 가이드드 딥 커널 러닝(GDKL)을 제안한다. DKL 사후분포를 NNGP의 예측 분포와 일치시킴으로써 GDKL은 과적합을 감소시키고 강인한 불확실성 정량화를 달성하면서도 DKL의 확장성과 일반화 능력을 유지한다. 다양한 벤치마크 데이터셋에서 표준 DKL 및 기준 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Combining Gaussian processes with the expressive power of deep neural networks is commonly done nowadays through deep kernel learning (DKL). Unfortunately, due to the kernel optimization process, this often results in losing their Bayesian benefits. In this study, we present a novel approach for learning deep kernels by utilizing infinite-width neural networks. We propose to use the Neural Network Gaussian Process (NNGP) model as a guide to the DKL model in the optimization process. Our approach harnesses the reliable uncertainty estimation of the NNGPs to adapt the DKL target confidence when it encounters novel data points. As a result, we get the best of both worlds, we leverage the Bayesian behavior of the NNGP, namely its robustness to overfitting, and accurate uncertainty estimation, while maintaining the generalization abilities, scalability, and flexibility of deep kernels. Empirically, we show on multiple benchmark datasets of varying sizes and dimensionality, that our method is robust to overfitting, has good predictive performance, and provides reliable uncertainty estimations.

연구 동기 및 목표

• 딥 커널 러닝(DKL) 모델에서 흔히 발생하는 과적합과 신뢰할 수 없는 불확실성 추정 문제를 해결하기 위해.
• 특히 과적합에 대한 강인성과 정확한 불확실성 추정이라는 가우시안 프로세스의 베이지안 이점을 유지하면서도, 깊은 신경망의 표현력과 확장성도 그대로 유지하기 위해.
• 무한한 너비의 신경망 사전분포(NNGP)를 활용하여 DKL 최적화를 안내하는 학습 절차를 개발하기 위해.
• 표준 기법인 유도점(inducing points)을 사용하여 정확한 추론과 근사 추론을 모두 가능하게 하여 실용적인 확장성을 확보하기 위해.

제안 방법

• GDKL은 DKL 사후분포와 NNGP 사후분포 사이의 KL 발산 항과 데이터 가능도 항을 포함한 손실을 최소화하여 DKL 모델을 학습한다.
• NNGP는 각 테스트 포인트에 대해 신뢰할 수 있는 베이지안 불확실성 추정을 제공하며, 이는 DKL 모델의 예측 신뢰도를 校정하는 데 사용된다.
• 테스트 세트의 각 데이터 포인트에 대해, DKL 모델의 예측 분포가 높은 불확실성 영역에서 NNGP의 사후분포와 일치하도록 유도된다.
• 목적 함수는 DKL이 레이블 정보를 인코딩하는 변분 사후분포로서 NNGP 사전분포에 의해 정규화되는 것으로 간주될 수 있으며, 변분 추론 목적 함수와 동치이다.
• 정확한 추론과 유도점에 의한 근사 추론을 모두 지원하여 더 큰 데이터셋으로의 확장성을 확보한다.
• 학습 절차는 NNGP 사후분포 계산을 위한 ${\mathcal{D}}_1$과 DKL 모델 학습을 위한 ${\mathcal{D}}_2$로 무작위로 데이터를 분할하며, 손실은 ${\mathcal{D}}_2$ 기반으로 계산된다.

실험 결과

연구 질문

• RQ1 무한한 너비의 신경망(NNGP)에서의 불확실성 추정은 딥 커널 러닝(DKL) 모델의 일반화 및 강인성을 향상시키는 데 사용될 수 있는가?
• RQ2 NNGP 사후분포로 DKL 학습을 안내함으로써, 특히 소형 및 중형 데이터셋에서 표준 DKL 대비 과적합이 감소하는가?
• RQ3 결과 모델은 예측 성능을 유지하면서도 표준 DKL 및 경쟁 모델보다 더 신뢰할 수 있는 불확실성 정량화를 제공할 수 있는가?
• RQ4 제안된 방법은 확장 가능하며, 유도점과 같은 표준 근사 추론 기법과 호환되는가?

주요 결과

• GDKL은 소형 및 중형 데이터셋에서 표준 DKL 대비 과적합을 크게 감소시켜 일반화 능력 향상을 보였다.
• 모델은 우수한 불확실성 추정 성능을 달성하였으며, 특히 분포 외 영역에서 진짜 불확실성을 잘 반영하는 예측 분포를 제공하였다.
• 다양한 차원과 크기의 여러 벤치마크 데이터셋에서 GDKL은 예측 정확도 및 불확실성 정량화 지표에서 표준 DKL 및 기준 모델을 모두 능가하였다.
• 제안된 목적 함수는 변분 하한(ELBO)을 최대화하는 것과 동치이며, 이는 방법의 베이지안 추론 기반 이론적 타당성을 뒷받침한다.
• NNGP 사전분포의 사용으로 인해 DKL 모델이 학습 포인트들 간의 과도한 상관관계를 피할 수 있었으며, 이는 이전 연구에서 지적된 DKL 과적합의 주요 원인이었다.