[논문 리뷰] Approximate Inference Turns Deep Networks into Gaussian Processes

Mohammad Emtiyaz Khan, Alexander Immer외 2명|arXiv (Cornell University)|2019. 06. 05.

Gaussian Processes and Bayesian Inference참고 문헌 22인용 수 13

한 줄 요약

이 논문은 베이지안 딥 뉴럴 네트워크(DNN)에서 가우시안 사후 근사와 가우시안 프로세스(GP) 사후 간 이론적 동치성을 확립함으로써, 표준 DNN 학습 중에 GP 커널과 비선형 특징 맵을 추출할 수 있도록 한다. 놀랍게도 유도된 커널은 신경 정규화 커널(NTK)과 동일하며, 교차 검증 없이 GP 주변 가능도를 통해 DNN 하이퍼파라미터 튜닝이 가능하다.

ABSTRACT

Deep neural networks (DNN) and Gaussian processes (GP) are two powerful models with several theoretical connections relating them, but the relationship between their training methods is not well understood. In this paper, we show that certain Gaussian posterior approximations for Bayesian DNNs are equivalent to GP posteriors. This enables us to relate solutions and iterations of a deep-learning algorithm to GP inference. As a result, we can obtain a GP kernel and a nonlinear feature map while training a DNN. Surprisingly, the resulting kernel is the neural tangent kernel. We show kernels obtained on real datasets and demonstrate the use of the GP marginal likelihood to tune hyperparameters of DNNs. Our work aims to facilitate further research on combining DNNs and GPs in practical settings.

연구 동기 및 목표

• 딥 뉴럴 네트워크(DNN) 학습 절차와 가우시안 프로세스(GP) 간 이론적 연결을 수립하기 위해.
• 베이지안 DNN에서의 가우시안 사후 근사(예: 라플라스 근사, 변분 추론)가 수학적으로 GP 사후와 동일하다는 것을 보여주기 위해.
• 표준 DNN 학습 중에 GP 커널과 비선형 특징 맵을 추출할 수 있도록 하기 위해.
• 유도된 커널이 신경 정규화 커널(NTK)과 일치함을 보여주어, NTK의 유도에 대한 새로운 시각을 제공하기 위해.
• 교차 검증 없이 GP 주변 가능도를 활용해 DNN 하이퍼파라미터를 실용적으로 튜닝할 수 있도록 하기 위해.

제안 방법

• 베이지안 DNN에 가우시안 사후 근사(Laplace 및 변분 추론)를 적용하여 등가의 GP 사후 분포를 유도하기 위해.
• DNN의 가중치 사후 근사에서 해당하는 GP 커널과 비선형 특징 맵을 유도하기 위해.
• 유도된 커널이 DNN 출력의 야코비안에서 유도된 신경 정규화 커널(NTK)과 동일하다는 것을 보여주기 위해.
• 실제 데이터셋(MNIST 및 CIFAR 포함)에서 훈련된 DNN에서 DNN2GP 프레임워크를 적용해 특징 맵과 커널을 추출하기 위해.
• DNN2GP 변환에서 유도된 GP 주변 가능도를 활용해 정규화 강도, 노이즈 분산, 네트워크 너비 등의 DNN 하이퍼파라미터를 튜닝하기 위해.
• 합성 및 실제 데이터셋(UKI 레드와인 품질 포함)에서 검증하여, 주변 가능도 기반과 테스트 손실 기반 하이퍼파라미터 선택 방식을 비교하기 위해.

실험 결과

연구 질문

• RQ1 베이지안 DNN에서의 가우시안 사후 근사는 공식적으로 GP 사후와 대응될 수 있는가?
• RQ2 근사 인퍼런스를 통해 DNN 학습에서 유도된 커널은 신경 정규화 커널(NTK)과 일치하는가?
• RQ3 DNN 학습에서 유도된 GP 주변 가능도를 통해 DNN 하이퍼파라미터를 효과적으로 튜닝할 수 있는가?
• RQ4 DNN에서 추출된 특징 맵과 해당하는 GP 커널 간의 관계는 무엇인가?
• RQ5 실제 세계의 DNN에서 GP 주변 가능도 기반 하이퍼파라미터 선택과 표준 테스트 오차 기반 선택 간의 비교 결과는 어떻게 되는가?

주요 결과

• 라플라스 또는 변분 추론을 통한 베이지안 DNN에서의 가우시안 사후 근사는 수학적으로 GP 회귀 모델의 사후와 동일하다.
• DNN 학습 과정에서 유도된 커널은 신경 정규화 커널(NTK)과 동일하며, 사후 근사에서 자연스럽게 유도된다.
• DNN2GP 프레임워크를 사용해 훈련된 DNN에서 추출한 비선형 특징 맵은 의미 있는 표현을 캡처하며, MNIST 및 CIFAR 데이터셋에서 효과적으로 시각화된다.
• DNN2GP 변환에서 유도된 GP 주변 가능도는 정규화 강도, 네트워크 너비, 노이즈 분산 등의 DNN 하이퍼파라미터를 선택하여 낮은 테스트 오차를 달성하며, 교차 검증 결과와 동등한 성능을 보인다.
• 합성 및 실제 세계 데이터셋(UKI 레드와인 품질 포함)에서 GP 주변 가능도 기반 하이퍼파라미터 선택은 잘 일반화되며, 하이퍼파라미터 튜닝 목적 함수로서의 타당성을 입증한다.
• 이 프레임워크는 DNN과 GP 간의 원활한 통합을 가능하게 하여, 아키텍처 변경 없이도 표준 DNN에 GP 인퍼런스 도구를 활용할 수 있도록 한다.