[논문 리뷰] Deep learning with differential Gaussian process flows

Pashupati Hegde, Markus Heinonen외 2명|Research Explorer (The University of Manchester)|2018. 10. 09.

Gaussian Processes and Bayesian Inference인용 수 22

한 줄 요약

이 논문은 입력 공간 내에서 확률적 미분 방정식(SDEs)을 통해 데이터 변환을 모델링하는 연속 시간 딥 러닝 프레임워크인 미분 가우시안 프로세스 플로우(Differential Gaussian Process Flows)를 소개한다. 무한히 깊고 무한소의 플로우를 통해 입력을 왜곡함으로써, 회귀 및 분류 문제에서 최신 기술(SOTA) 성능을 달성하며, 유도 매개변수 수를 줄이며 딥 가우시안 프로세스와 신경망을 능가한다.

ABSTRACT

We propose a novel deep learning paradigm of differential flows that learn a stochastic differential equation transformations of inputs prior to a standard classification or regression function. The key property of differential Gaussian processes is the warping of inputs through infinitely deep, but infinitesimal, differential fields, that generalise discrete layers into a dynamical system. We demonstrate state-of-the-art results that exceed the performance of deep Gaussian processes and neural networks

연구 동기 및 목표

• 디스크리트 레이어 딥 네트워크의 한계와 딥 가우시안 프로세스의 열화 문제를 해결하기 위해 변환을 연속 플로우로 모델링하는 것.
• 중간 잠재 표현을 학습하지 않고도 원래 특징 공간에서의 민감한 비선형 입력 왜곡을 가능하게 하는 것.
• 확산을 통한 원칙적인 정규화를 통해 확률적 미분 방정식을 활용한 모델 용량과 일반화 능력을 향상시키는 것.
• 딥 가우시안 프로세스에 비해 매개변수 수를 줄이면서도 성능을 유지하거나 초월하는 것.
• 플로우를 통해 변환 경로를 명시적으로 분석할 수 있도록 해, 더 해석 가능한 딥 러닝 프레임워크를 제공하는 것.

제안 방법

• 모델은 입력 공간 내에서 연속적이고 스무스하며 미분 가능한 플로우를 정의하는 확률적 미분 방정식(SDEs)을 사용하여 입력 변환을 모델링한다.
• 각 데이터 포인트는 드리프트 및 확산 성분을 가진 SDE에 의해 지배되는 연속 경로를 따라 변환되며, 이는 무한히 깊고 무한소의 변환을 가능하게 한다.
• SDE는 공간과 시간 양쪽에 유도 점을 가진 희소 가우시안 프로세스를 사용하여 근사함으로써 효율적인 추론을 가능하게 한다.
• 모델은 시간과 공간 유도 점을 사용하여 SDE의 드리프트 및 확산 필드를 매개변수화하는 연속 시간 플로우를 사용한다.
• 사후분포는 구조적 변분 분포를 사용하여 변분 추론을 통해 근사하며, 주변 가능도의 하한을 최소화한다.
• 이 프레임워크는 비시간적 및 시간적 확장 모두를 지원하여 더 긴 통합 시간을 통해 모델 용량을 증가시킬 수 있다.

실험 결과

연구 질문

• RQ1 SDE를 통해 모델링한 연속 시간 플로우가 예측 성능에서 디스크리트 레이어 딥 네트워크를 능가할 수 있는가?
• RQ2 SDE를 통해 입력 공간에서 직접 변환을 모델링할 경우, 잠재 공간 모델 대비 일반화 능력 향상과 과적합 감소에 기여하는가?
• RQ3 SDE를 활용한 원칙적인 베이지안 접근이 딥 가우시안 프로세스보다 매개변수 수를 줄이며 최신 기술 성능을 달성할 수 있는가?
• RQ4 플로우 시간(통합 시간)을 늘일수록 모델 용량과 성능에 어떤 영향을 미치는가?
• RQ5 연속 플로우 프레임워크는 개별 데이터 포인트의 변환 경로를 추적함으로써 해석 가능한 의사결정 경로를 지원할 수 있는가?

주요 결과

• HIGGS 및 SUSY UCI 분류 벤치마크에서 제안된 DiffGP 모델은 각각 AUC 점수 0.878과 0.842를 기록하며, DGP 및 DNN의 최고 보고된 결과와 동일하거나 이를 초월한다.
• Protein 회귀 데이터셋에서 모델은 최신 기술 성능을 달성하였으며, DGP보다 향상된 결과를 보이며 장거리 상관관계를 강력하게 모델링함을 시사한다.
• 플로우 시간을 1에서 10으로 늘일 경우 테스트 오차와 가능도가 크게 향상되며, T=10 근처에서 성능 포화 상태에 도달함을 확인하여 용량 확장이 제어 가능함을 보여준다.
• Concrete 및 Energy와 같은 여러 회귀 벤치마크에서 모델은 더 적은 유도 매개변수를 사용하면서도 딥 가우시안 프로세스를 능가한다.
• 모델의 시간적 확장은 HIGGS에서 AUC 0.878, SUSY에서 AUC 0.846를 기록하며, 더 효율적인 매개변수화로 최고의 DGP 결과를 재현한다.
• Wine 및 Energy와 같은 작은 데이터셋에서도 모델은 높은 성능를 유지하며, 얕은 GPs가 최적임에도 불구하고 과적합 없이 우수한 성능를 보임을 시사한다.