[논문 리뷰] Differentiable Compositional Kernel Learning for Gaussian Processes

Shengyang Sun, Guodong Zhang외 4명|arXiv (Cornell University)|2018. 06. 12.

Gaussian Processes and Bayesian Inference참고 문헌 27인용 수 29

한 줄 요약

이 논문은 경사 하강법을 통한 엔드 투 엔드 훈련을 가능하게 하는 가역적이고 복합적인 커널 가족인 신경 커널 네트워크(NKN)를 소개한다. 유효한 커널 조합 규칙를 사용해 네트워크를 구성함으로써 NKN은 정적 커널에 대한 보편적 근사가 가능하며, 시간 시계열, 텍스처 및 베이지안 최적화 작업에서 강력한 패턴 탐지 및 외삽 성능을 보이며, 스펙트럼 혼합 및 딥 커널 학습과 같은 이전 방법들을 능가한다.

ABSTRACT

The generalization properties of Gaussian processes depend heavily on the choice of kernel, and this choice remains a dark art. We present the Neural Kernel Network (NKN), a flexible family of kernels represented by a neural network. The NKN architecture is based on the composition rules for kernels, so that each unit of the network corresponds to a valid kernel. It can compactly approximate compositional kernel structures such as those used by the Automatic Statistician (Lloyd et al., 2014), but because the architecture is differentiable, it is end-to-end trainable with gradient-based optimization. We show that the NKN is universal for the class of stationary kernels. Empirically we demonstrate pattern discovery and extrapolation abilities of NKN on several tasks that depend crucially on identifying the underlying structure, including time series and texture extrapolation, as well as Bayesian optimization.

연구 동기 및 목표

• 가우시안 프로세스에서 커널 선택의 '어둠의 예술' 문제를 해결함으로써 일반화 및 해석 가능성에 중대한 영향을 미치는 것.
• 복잡한 복합 커널 구조를 압축적으로 표현할 수 있는 유연하고 가역적인 커널 아키텍처를 개발하는 것.
• 커널 문법 접근법에서의 이산적 탐색의 비효율성을 극복하고 기반 기반 최적화를 통한 커널 함수의 엔드 투 엔드 훈련을 가능하게 하는 것.
• 제안된 아키텍처가 제한된 너비로 정적 커널 클래스에 대해 보편적 근사를 달성할 수 있음을 입증하는 것.
• 구조적 인도적 편향이 필수적인 패턴 탐지 및 외삽 작업에서 방법을 평가하는 것.

제안 방법

• NKN은 각 레이어의 유닛이 유효한 커널이 되도록 구성된 신경망으로, 표준 커널 조합 규칙(예: 덧셈, 곱셈, 선형 조합)을 사용한다.
• 기본 커널(RBF, 주기적, 선형, RQ 등)을 입력 유닛으로 사용하고, 가역적 조합을 통해 고차원 커널을 형성한다.
• 모델은 경계 확률을 목적 함수로 사용해 경사 하강법으로 훈련되며, 이는 커널 구조의 엔드 투 엔드 최적화를 가능하게 한다.
• 복소수 중간 표현을 지원하며, 최종 출력만 실수 부분을 취함으로써 모델의 압축성과 표현력이 향상된다.
• 대규모 데이터셋의 경우, 계산 비용을 O(N³)에서 O(NM²)로 줄이기 위해 변분 자유 에너지(VFE)를 통한 변분 추론을 사용한다.
• 텍스처 외삽 작업에서는 누락된 격자 점을 근접한 0에 가까운 노이즈를 가진 잠재 관측치로 모델링하고, 조건부 공액 기울기법을 사용해 효율적인 추론을 수행한다.

실험 결과

연구 질문

• RQ1 가역적 신경망 아키텍처가 가우시안 프로세스를 위한 복잡하고 복합적인 커널 구조를 효과적으로 표현하고 학습할 수 있는가?
• RQ2 제안된 신경 커널 네트워크(NKN)가 정적 커널의 클래스에 대해 보편적 근사를 달성하는가?
• RQ3 NKN은 기존 커널 학습 방법보다 시간 시계열 및 텍스처 데이터에서 잠재적인 기능 패턴을 더 효과적으로 탐지하고 외삽할 수 있는가?
• RQ4 복소수 중간 커널의 사용이 모델의 압축성과 성능 향상에 어떻게 기여하는가?
• RQ5 NKN이 복잡한 입력 상관관계를 학습함으로써 비가산 함수(예: 변환된 Styblinski-Tang)에서 샘플 효율성을 향상시킬 수 있는가?

주요 결과

• NKN은 회귀 벤치마크에서 표준 RBF 및 스펙트럼 혼합 커널을 능가하는 최첨단 성능을 달성한다.
• 시간 시계열 및 텍스처 외삽 작업에서 NKN은 주기성 및 제곱근 스케일링과 같은 복잡한 패턴을 성공적으로 탐지하고 일반화하며, 합성 2차원 함수 외삽 사례에서 이를 입증한다.
• 특히 비가산 함수인 변환된 Styblinski-Tang에서 NKN은 구조적이고 해석 가능한 커널 인도적 편향을 학습함으로써 베이지안 최적화에서 뛰어난 샘플 효율성을 보여준다.
• 제한된 너비로도 정적 커널에 대해 보편적 근사를 달성하며, 순환 신경망의 보편 근사와 유사한 성질을 가진다.
• 복소수 중간 표현을 사용하면 동일한 커널 함수를 표현하기 위해 필요한 파rameter 수를 크게 줄여 모델의 압축성을 향상시킨다.