[논문 리뷰] Deep Gaussian Processes

Andreas Damianou, Neil D. Lawrence|White Rose Research Online (University of Leeds, The University of Sheffield, University of York)|2012. 11. 02.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 272

한 줄 요약

이 논문은 깊이 있는 계층적 표현을 학습하기 위해 가우시안 프로세스를 중첩하는 계층적 베이지안 모델인 딥 가우시안 프로세스(DGPs)를 소개한다. 변분 추론을 사용하여 주변 가능도를 근사화함으로써, 이 방법은 자동 모델 선택을 가능하게 하며, 예를 들어 150개의 손글씨 숫자 예제에서 5층의 계층적 구조를 성공적으로 학습함으로써 소규모 데이터셋에서도 추상적인 특징을 학습할 수 있다.

ABSTRACT

In this paper we introduce deep Gaussian process (GP) models. Deep GPs are a deep belief network based on Gaussian process mappings. The data is modeled as the output of a multivariate GP. The inputs to that Gaussian process are then governed by another GP. A single layer model is equivalent to a standard GP or the GP latent variable model (GP-LVM). We perform inference in the model by approximate variational marginalization. This results in a strict lower bound on the marginal likelihood of the model which we use for model selection (number of layers and nodes per layer). Deep belief networks are typically applied to relatively large data sets using stochastic gradient descent for optimization. Our fully Bayesian treatment allows for the application of deep models even when data is scarce. Model selection by our variational bound shows that a five layer hierarchy is justified even when modelling a digit data set containing only 150 examples.

연구 동기 및 목표

• 가우시안 프로세스를 기반으로 한 완전히 베이지안 기반의 딥 러닝 프레임워크를 개발하여 체계적인 모델 선택과 불확실성 정량화를 가능하게 한다.
• 가우시안 프로세스의 인덕티브 바이어스와 부드러움 성질을 활용하여 소규모 데이터셋에서 깊이 있는 모델을 훈련하는 데 도전하는 문제를 해결한다.
• 깊이 있는 계층적 레이어를 통해 점점 더 추상적인 표현을 학습할 수 있음을 보여주며, 제한된 데이터에서도 성립함을 입증한다.
• 잠재 변수에 대한 복잡한 합산을 피하기 위해 변분 주변화를 사용하여 딥 가우시안 프로세스 모델에 대한 실현 가능한 추론 방법을 제공한다.
• 손글씨 숫자 분류 및 특징 추상화 분 析에 대한 실증적 평가를 통해 딥 가우시안 프로세스 모델의 효과성을 검증한다.

제안 방법

• 각 레이어가 가우시안 프로세스 매핑인 딥 벨리프 네트워크를 제안하며, 한 GP의 출력이 다음 레이어의 입력으로 사용된다.
• 잠재 변수를 통합하기 위해 근사 변분 주변화를 사용하여 주변 가능도의 стрict한 하한을 도출한다.
• 모델 선택을 위한 목적함수로 변분 하한을 사용하며, 이는 레이어 수와 각 레이어의 노드 수를 포함한다.
• 자동 중요도 결정(ARD)을 적용하여 각 레이어에서 입력 차원의 중요도를 학습함으로써 특징 추상화를 지원한다.
• 최상위 레이어의 잠재 공간에서 샘플링을 수행하여 계층적 레이어를 거쳐 추상적 특징이 어떻게 나타나는지 시각화한다.
• 잠재 공간 내의 최근접 이웃 오차를 모델 품질의 대체 지표로 사용하여 다양한 깊이에서의 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 소규모 데이터셋(예: 150개 예제)에서도 딥 가우시안 프로세스가 데이터의 계층적 표현을 학습할 수 있는가?
• RQ2 주변 가능도에 대한 변분 하한이 딥 가우시안 프로세스 아키텍처의 깊이와 너비 선택을 효과적으로 이끌 수 있는가?
• RQ3 딥 가우시안 프로세스 모델의 더 깊은 레이어가 샘플링 및 최근접 이웃 분석을 통해 점점 더 추상적인 특징을 포착하는가?
• RQ4 분류 정확도와 특징 표현 측면에서 딥 가우시안 프로세스 모델은 얕은 가우시안 프로세스 모델보다 성능이 뛰어나게 되는가?
• RQ5 딥 가우시안 프로세스 모델은 아키텍처의 유연성 덕분에 작업 간 공유되며 분리 가능한 표현을 학습하거나 비정상적인 데이터에서 효과적으로 작동할 수 있는가?

주요 결과

• 5층의 딥 가우시안 프로세스 모델은 4차원 최상위 잠재 공간에서 거의 완벽한 최근접 이웃 분류 성능을 달성했으며, 오직 한 개의 잘못 분류된 예외가 있었다.
• 레이어 수가 증가할수록 주변 가능도에 대한 변분 하한이 증가하여 더 깊은 아키텍처가 데이터에 의해 더 잘 정당화됨을 나타냈다.
• 단일 레이어 가우시안 프로세스 모델은 10개의 잠재 차원을 사용했음에도 불구하고 다섯 개의 분류 오류를 범했으며, 이는 깊이의 이점이 있음을 보여주었다.
• 낮은 레이어에서의 샘플링은 국소적 특징(예: 숫자에서 닫힌 원과 열린 원)을 드러냈고, 더 높은 레이어에서의 샘플링은 더 추상적이고 다양한 패턴을 생성했다.
• ARD 가중치는 더 높은 레이어가 더 글로벌하고 추상적인 특징에 집중하도록 학습했음을 보여주며, 계층적 추상화를 확인했다.
• 이 방법은 단지 150개의 손글씨 숫자 예제로 이루어진 데이터셋에서 5층의 계층적 구조를 성공적으로 발견했으며, 이는 소규모 데이터를 위한 딥 러닝에 대한 유용성을 입증한다.