[논문 리뷰] Deep Gaussian Processes: A Survey

Kalvik Jakkala|arXiv (Cornell University)|2021. 06. 21.

Gaussian Processes and Bayesian Inference참고 문헌 36인용 수 14

한 줄 요약

이 종합 검토는 지난 10년간의 동향을 반영하여 딥 가우시안 프로세스(DGPs)의 동기, 수학적 기초, 한계 및 주요 발전 사항을 포괄적으로 개괄한다. 스퍼스 GPs와 베이지안 GPLVM 등의 핵심 기법을 통합하고, 주요 DGP 접근법을 평가하며, 확장성, 불확실성 추정, 복잡한 함수 공간 모델링 분야의 열린 과제를 규명한다.

ABSTRACT

Gaussian processes are one of the dominant approaches in Bayesian learning. Although the approach has been applied to numerous problems with great success, it has a few fundamental limitations. Multiple methods in literature have addressed these limitations. However, there has not been a comprehensive survey of the topics as of yet. Most existing surveys focus on only one particular variant of Gaussian processes and their derivatives. This survey details the core motivations for using Gaussian processes, their mathematical formulations, limitations, and research themes that have flourished over the years to address said limitations. Furthermore, one particular research area is Deep Gaussian Processes (DGPs), it has improved substantially in the past decade. The significant publications that advanced the forefront of this research area are outlined in their survey. Finally, a brief discussion on open problems and research directions for future work is presented at the end.

연구 동기 및 목표

• 딥 러닝의 베이지안 대안으로서 딥 가우시안 프로세스(DGPs)에 대한 통합적이고 심층적인 종합 검토를 제공하는 것.
• 기본적인 가우시안 프로세스의 핵심 한계, 즉 계산 비용, 커널 제약 조건, 확장성 문제를 규명하고 분석하는 것.
• 스택된 GP 레이어를 통해 계층적 특징 학습과 불확실성 정량화를 어떻게 해결하는지 분석하는 것.
• 스퍼스 GPs, 베이지안 GPLVM, 신경 프로세스 기반 근사법을 포함한 최신 DGP 방법을 평가하는 것.
• 이미지넷과 같은 실제 데이터셋에 적용 가능한 모델의 확장성, 함수 공간 모델링, 불확실성 추정 분야의 열린 문제를 부각하는 것.

제안 방법

• 복잡한 비선형 특징 계층을 베이지안 프레임워크 내에서 모델링하기 위해 가우시안 프로세스의 계층적 스택을 사용한다.
• 특히 니스트롬 방법을 활용한 스퍼스 근사 기법을 적용하여 DGPs의 계산 비용과 저장 비용을 감소시킨다.
• DGPs 내의 유도점과 잠재 함수의 사후분포를 근사하기 위해 변분 추론을 활용한다.
• 비선형 변환을 통한 불확실성 전파를 가능하게 하여 DGP의 기초로 베이지안 GPLVM을 통합한다.
• 가우시안 프로세스 기반의 확률적 과정 근사 기법, 예를 들어 Garnelo 등이 제안한 방법을 검토하여 전통적 커널을 초월한 함수 공간 모델링을 가능하게 한다.
• 에너지 기반 모델과 하이퍼네트워크를 고려하여 DGP 함수 공간의 표현력을 확장할 잠재적 길을 모색한다.

실험 결과

연구 질문

• RQ1 딥 가우시안 프로세스는 복잡하고 계층적인 데이터를 모델링할 때 기존 가우시안 프로세스보다 어떻게 향상되는가?
• RQ2 기존 GP 및 DGP 접근법의 주요 계산적 및 통계적 한계는 무엇인가?
• RQ3 스퍼스 GPs와 베이지안 GPLVM과 같은 현대적 DGP 방법은 불확실성 정량화와 계층적 특징 학습을 어떻게 가능하게 하는가?
• RQ4 DGP 모델은 이미지넷과 같은 대규모 구조적 데이터셋에 얼마나 잘 확장될 수 있는가?
• RQ5 커널 기반 또는 DNN 기반 함수 공간 모델링을 초월해 DGP의 표현력을 확장하기 위한 가장 유망한 향후 방향은 무엇인가?

주요 결과

• 딥 가우시안 프로세스는 불확실성 추정, 인과 모델링, 도메인 지식 통합을 위한 원칙적인 베이지안 접근법을 제공하여 빈도주의 딥 러닝의 핵심적 한계를 보완한다.
• 특히 니스트롬 방법을 활용한 스퍼스 GP 근사 기법은 예측 성능를 유지하면서도 계산 비용을 크게 감소시킨다.
• 베이지안 GPLVM은 비선형성 통과에서의 불확실성 전파를 가능하게 하여 불확실성 인식 딥 확률 모델의 기초를 마련한다.
• 진전이 있었음에도 불구하고, 대부분의 DGP 방법은 최대 10층 이내의 얕은 모델에서만 테스트되었으며, 이미지넷에서 사용되는 깊은 아키텍처로의 확장성은 아직 입증되지 않았다.
• 작업별 신경망이나 고정 커널 함수에 의존하는 DGP 방법은 표현력과 일반화 능력 측면에서 제한을 받으며, 더 유연한 함수 공간 모델링의 필요성을 시사한다.
• 에너지 기반 프로세스와 하이퍼네트워크와 같은 새로운 접근법은 DGP의 능력을 확장할 잠재력을 보이고 있으나, 여전히 계산 비용이 높고 실용적 구현에 부적합한 상태이다.