[논문 리뷰] Deep Kernel Learning

Andrew Gordon Wilson, Zhiting Hu외 2명|arXiv (Cornell University)|2015. 11. 06.

Gaussian Processes and Bayesian Inference참고 문헌 31인용 수 18

한 줄 요약

이 논문은 깊이 있는 구조를 사용해 입력을 변환한 후 스펙트럼 혼합 커널을 적용함으로써 딥 신경망과 가우시안 프로세스를 결합한 확장 가능한 딥 커널 학습을 소개한다. 유도점, 국소 커널 보간, 크로네커/토플리츠 구조를 통해 O(n) 학습 및 O(1) 예측 복잡도를 달성하며, 200만 개의 예제를 포함한 다양한 데이터셋에서 표준 GPs와 딥 네트워크를 모두 능가한다.

ABSTRACT

We introduce scalable deep kernels, which combine the structural properties of deep learning architectures with the non-parametric flexibility of kernel methods. Specifically, we transform the inputs of a spectral mixture base kernel with a deep architecture, using local kernel interpolation, inducing points, and structure exploiting (Kronecker and Toeplitz) algebra for a scalable kernel representation. These closed-form kernels can be used as drop-in replacements for standard kernels, with benefits in expressive power and scalability. We jointly learn the properties of these kernels through the marginal likelihood of a Gaussian process. Inference and learning cost $O(n)$ for $n$ training points, and predictions cost $O(1)$ per test point. On a large and diverse collection of applications, including a dataset with 2 million examples, we show improved performance over scalable Gaussian processes with flexible kernel learning models, and stand-alone deep architectures.

연구 동기 및 목표

• 비모수적 유연성과 계층적 특징 학습의 강점을 결합함으로써 표준 커널 방법과 딥 네트워크의 한계를 해결한다.
• 일般적으로 O(n³)으로 스케일링되는 가우시안 프로세스의 확장성 문제를 해결하기 위해 선형 시간 학습과 일정 시간 예측을 가능하게 한다.
• 마진널 가능도를 통해 표현력 있는 커널 구조의 자동, 종단 간 학습을 가능하게 하여 수동적 하이퍼파rameter 조정에 대한 의존도를 감소시킨다.
• 딥 아키텍처가 데이터 기반의 비유클리드 유사도 측도를 학습할 수 있는 프레임워크를 개발하여, 복잡한 고차원 데이터에서의 성능을 향상시킨다.
• 실제 세계의 데이터셋, 특히 불연속성이 있는 어려운 회귀 과제를 포함한 대규모 및 도전적인 과제에서 딥 커널 학습의 실용적 유용성을 입증한다.

제안 방법

• 스펙트럼 혼합 커널의 입력을 깊이 있는 순환 또는 합성곱 신경망을 사용해 변환하여 복잡하고 데이터 적응형 표현을 학습한다.
• 전체 커널 행렬을 효율적으로 근사하기 위해 국소 커널 보간을 적용하여 계산 비용을 감소시키면서도 정확도를 유지한다.
• 유도점을 사용해 커널 표현을 압축함으로써 O(n) 복잡도로 확장 가능한 추론과 학습을 가능하게 한다.
• 크로네커 및 토플리츠 구조를 활용한 대칭 구조를 이용한 대수학을 적용해 커널 계산과 저장을 더욱 가속화한다.
• 가우시안 프로세스의 마진널 가능도를 통해 딥 네트워크 가중치와 커널 하이퍼파rameter를 동시에 최적화함으로써 종단 간 학습을 가능하게 한다.
• 확장 가능한 폐쇄형 커널 근사가 표준 GP 추론과 호환되는 KISS-GP 프레임워크를 기반으로 한다.

실험 결과

연구 질문

• RQ1 딥 네트워크를 사용해 표준 파rametric 커널을 초월하는 일반화 성능을 향상시키는 민감하고 데이터 적응형 커널 함수를 학습할 수 있는가?
• RQ2 대규모 데이터셋에서 비용 복잡도를 O(n)으로 줄이면서도 비모수적 표현력을 유지할 수 있는가?
• RQ3 딥 커널 학습이 다양한 회귀 및 분류 과제에서 독립적인 딥 네트워크와 확장 가능한 가우시안 프로세스를 얼마나 능가할 수 있는가?
• RQ4 표준 커널이 부드러움 가정으로 인해 실패하는 복잡한 불연속 함수(예: 스텝 함수)를 딥 커널 학습이 효과적으로 모델링할 수 있는가?
• RQ5 학습된 커널 구조는 고차원 입력 공간에서 의미 있는 인덕티브 바이어스나 데이터 표현을 어떻게 드러내는가?

주요 결과

• 제안된 딥 커널 학습 모델은 O(n) 학습 및 O(1) 예측 복잡도를 달성하여 최대 200만 개의 예제를 포함한 데이터셋에서 효율적인 학습을 가능하게 한다.
• MNIST 숫자 크기 회귀 과제에서 CNN 아키텍처를 사용한 DKL은 표준 GP 및 DBN-GP 모델을 모두 능가했으며, 독립적인 CNN 모델보다도 정확도에서 뛰어났다.
• 스텝 함수 복구 과제에서 DKL-SM 모델은 불연속성을 정확히 포착하고 잘 校정된 불확실성 추정을 제공했지만, 표준 RBF 및 SM 커널은 부드러움 제약으로 인해 실패했다.
• 다양한 벤치마크 데이터셋에서 확장 가능한 가우시안 프로세스와 유연한 커널을 갖춘 모델, 그리고 독립적인 딥 네트워크를 모두 상회하는 일관된 성능 향상을 보였다.
• 학습된 커널 구조는 의미 있는 데이터 기반의 입력 공간 변환을 드러내어, 표준 유클리드 또는 절대 거리 측도를 초월한 효과적인 메트릭 학습을 시사한다.
• 마진널 가능도를 통한 공동 최적화로 교차 검증이나 정규화 없이도 모델 복잡도의 자동 校정이 가능해져 사용자 간섭을 감소시켰다.