[논문 리뷰] The Promises and Pitfalls of Deep Kernel Learning

Sebastian W. Ober, Carl Edward Rasmussen외 1명|arXiv (Cornell University)|2021. 02. 24.

Gaussian Processes and Bayesian Inference참고 문헌 53인용 수 14

한 줄 요약

이 논문은 딥 커널 학습(DKL)을 조사하여, 일반적으로 과적합을 방지한다고 여겨지는 주변 가능도 최적화가 과다 매개변수를 가진 DKL 모델에서 오히려 일반화 성능을 악화시킬 수 있음을 밝혀냈다. 저자들은 하이퍼파라미터가 많은 과다 매개변수 설정에서 표준 DKL과 결정론적 신경망보다도 우수한 불확실성 캘리브레이션과 테스트 성능을 보이는, 신경망 가중치에 대해 완전한 베이지안 처리를 적용한 결과를 제시한다.

ABSTRACT

Deep kernel learning (DKL) and related techniques aim to combine the representational power of neural networks with the reliable uncertainty estimates of Gaussian processes. One crucial aspect of these models is an expectation that, because they are treated as Gaussian process models optimized using the marginal likelihood, they are protected from overfitting. However, we identify situations where this is not the case. We explore this behavior, explain its origins and consider how it applies to real datasets. Through careful experimentation on the UCI, CIFAR-10, and the UTKFace datasets, we find that the overfitting from overparameterized maximum marginal likelihood, in which the model is "somewhat Bayesian", can in certain scenarios be worse than that from not being Bayesian at all. We explain how and when DKL can still be successful by investigating optimization dynamics. We also find that failures of DKL can be rectified by a fully Bayesian treatment, which leads to the desired performance improvements over standard neural networks and Gaussian processes.

연구 동기 및 목표

• 깊이 있는 커널 학습(DKL)이 주변 가능도 최적화를 통해 과적합을 신뢰성 있게 방지하는지 조사하기.
• 과다 매개변수를 가진 설정에서 하이퍼파라미터 수가 많을 경우 DKL이 과적합으로 인해 실패하는 조건을 규명하기.
• 신경망 가중치에 대해 완전한 베이지안 처리가 표준 DKL의 한계를 극복할 수 있는지 평가하기.
• UCI, CIFAR-10, UTKFace 등 다양한 데이터셋에서 DKL, 표준 신경망, 완전한 베이지안 DKL의 성능을 비교하기.
• 고차원 하이퍼파라미터 공간에서 모델 선택 기준으로서의 로그 주변 가능도의 신뢰성 평가하기.

제안 방법

• 1D 토이 데이터, UCI 데이터셋, CIFAR-10, UTKFace에서 DKL을 실증적으로 평가하여 과적합과 불확실성 캘리브레이션 분석하기.
• 하이퍼파라미터와 신경망 가중치의 전체 사후분포에서 샘플링하기 위해 하이퍼볼릭 몬테카를로(HMC)를 사용하여 완전한 베이지안 추론의 효과 검증하기.
• CIFAR-10과 UTKFace와 같은 더 큰 데이터셋에 대해 베이지안 추론을 확장하기 위해 확률적 경량화 랑주빈 동역학(SGLD) 적용하기.
• 테스트 RMSE, 로그 가능도(LL), 기대 캘리브레이션 오차(ECE), 테스트 정확도 등의 지표를 사용해 성능 비교하기.
• 신경망 가중치를 하이퍼파라미터로 간주하고, 로그 주변 가능도(LML)를 최적화하여 DKL 모델을 종합적으로 학습하기.
• 입력을 특징 공간으로 매핑하는 신경망을 사용하고, 이는 학습된 커널을 가진 가우시안 프로세스의 입력으로 사용된다.

실험 결과

연구 질문

• RQ1 과다 매개변수를 가진 모델에서 DKL의 주변 가능도 최적화가 일반적으로 가정하는 바와 같이 과적합을 신뢰성 있게 방지하는가?
• RQ2 DKL이 표준 결정론적 신경망보다 더 악화된 과적합을 보이는 조건은 무엇인가?
• RQ3 DKL의 신경망 가중치에 대해 완전한 베이지안 처리가 표준 DKL에서 관찰된 과적합 문제를 해결할 수 있는가?
• RQ4 불확실성 캘리브레이션과 예측 정확도 측면에서 완전한 베이지안 DKL의 성능은 표준 DKL 및 결정론적 신경망과 비교해 어떻게 되는가?
• RQ5 하이퍼파라미터 수가 많을 경우 DKL에서 로그 주변 가능도가 모델 선택 기준으로 신뢰할 수 있는가?

주요 결과

• 최대 주변 가능도 최적화를 통해 학습된 DKL 모델은 특히 확률적 정규화가 제한된 경우 표준 결정론적 신경망보다 더 심각하게 과적합될 수 있다.
• DKL에서의 과적합은 주변 가능도가 의미 있는 관련성이 있는 데이터 포인트 외에도 모든 데이터 포인트 간의 상관관계를 유도하기 때문에 발생하며, 이는 일반화 성능을 악화시킨다.
• 1D 토이 데이터셋에서 HMC 기반 완전한 베이지안 추론은 과적합을 완전히 해결하고, 외부 영역에서도 잘 캘리브레이션된 불확실성 추정을 생성한다.
• SGLD 기반 완전한 베이지안 DKL은 UTKFace와 CIFAR-10에서 테스트 로그 가능도를 향상시키고 기대 캘리브레이션 오차(ECE)를 감소시켜 표준 DKL 및 베이지안 신경망을 능가한다.
• UTKFace에서 완전한 베이지안 SVDKL은 테스트 RMSE 0.16±0.00과 로그 가능도 0.42±0.03을 기록하여 결정론적 신경망(0.16±0.00 RMSE, 0.39±0.04 LL)을 능가한다.
• CIFAR-10에서 완전한 베이지안 SVDKL은 테스트 로그 가능도 -1.11±0.02와 ECE 0.13±0.00을 기록하여 결정론적 신경망(-1.89±0.02 LL, ECE 0.18±0.00)보다 유의미하게 향상되었다.