[논문 리뷰] Deep Gaussian Covariance Network

Kevin Cremanns, Dirk Roos|arXiv (Cornell University)|2017. 10. 17.

Gaussian Processes and Bayesian Inference참고 문헌 34인용 수 14

한 줄 요약

이 논문은 깊이 있는 신경망을 사용하여 입력에 따라 변화하는 초모수—특히 상관 길이 척도 θ와 잡음 분산 σ²—를 학습하는 새로운 프레임워크인 딥 가우시안 공분산 네트워크(DGCN)를 제안한다. 비정상적이고 적응 가능한 공분산 함수를 가능하게 하고 배치/온라인 학습을 지원함으로써 DGCN은 다양한 회귀 및 시계열 작업에서 예측 정확도를 향상시켜, 시험된 모든 벤치마크에서 최신 기술인 딥 가우시안 프로세스(DGP)를 능가한다.

ABSTRACT

The correlation length-scale next to the noise variance are the most used hyperparameters for the Gaussian processes. Typically, stationary covariance functions are used, which are only dependent on the distances between input points and thus invariant to the translations in the input space. The optimization of the hyperparameters is commonly done by maximizing the log marginal likelihood. This works quite well, if the distances are uniform distributed. In the case of a locally adapted or even sparse input space, the prediction of a test point can be worse dependent of its position. A possible solution to this, is the usage of a non-stationary covariance function, where the hyperparameters are calculated by a deep neural network. So that the correlation length scales and possibly the noise variance are dependent on the test point. Furthermore, different types of covariance functions are trained simultaneously, so that the Gaussian process prediction is an additive overlay of different covariance matrices. The right covariance functions combination and its hyperparameters are learned by the deep neural network. Additional, the Gaussian process will be able to be trained by batches or online and so it can handle arbitrarily large data sets. We call this framework Deep Gaussian Covariance Network (DGCP). There are also further extensions to this framework possible, for example sequentially dependent problems like time series or the local mixture of experts. The basic framework and some extension possibilities will be presented in this work. Moreover, a comparison to some recent state of the art surrogate model methods will be performed, also for a time dependent problem.

연구 동기 및 목표

• 비균일하거나 희소한 입력 공간에서 정상적 가우시안 프로세스의 한계를 해결하기 위해 상관 길이 척도 θ가 최적화되지 않는 문제를 해결한다.
• 각 테스트 포인트에 대해 최적의 공분산 함수 조합과 초모수를 자동으로 학습할 수 있는 확장 가능하고 종단 간(end-to-end) 훈련 가능한 프레임워크를 개발한다.
• 가우시안 프로세스의 배치 및 온라인 학습을 가능하게 하여 대규모 데이터 응용 분야에서 발생하는 계산적 병목 현상을 해결한다.
• 시간 시리즈와 같은 순차적이고 비정상적인 문제에서 예측 성능을 향상시키기 위해 깊이 있는 신경망을 통해 동적 초모수를 학습한다.

제안 방법

• 각 테스트 포인트 x*에서 가우시안 프로세스의 입력에 따라 변화하는 초모수 θ*(x*)와 σ²*(x*)를 예측하기 위해 깊이 있는 신경망(DNN)을 훈련한다.
• 여러 개의 공분산 함수가 예측에 대해 덧셈적으로 조합되며, 각각의 초모수가 DNN에 의해 함께 최적화된다.
• 완전한 공분산 행렬의 역행렬 계산을 피하기 위해, 프레임워크는 미니배치 및 온라인 훈련을 지원하여 임의로 큰 데이터셋에서도 효율적인 학습을 가능하게 한다.
• 초모수는 ADAM과 같은 표준 딥 러닝 최적화기로 최적화되며, 목적 함수로는 로그 최대우도(log marginal likelihood)를 사용한다.
• 과거 입력/출력을 특징으로 포함시켜 순차적 문제에 대한 확장이 가능하며, 시간적 의존성 모델링이 가능하다.
• DNN은 초모수뿐 아니라 다양한 커널 유형의 최적 조합까지도 학습하여 일반화 성능 향상에 기여한다.

실험 결과

연구 질문

• RQ1 딥 신경망은 비정상적이거나 희소한 입력 영역에서 가우시안 프로세스의 입력에 따라 변화하는 초모수를 효과적으로 학습하여 예측 성능을 향상시킬 수 있는가?
• RQ2 다양한 회귀 및 시계열 작업에서 최신 기술의 대체 모델, 특히 딥 가우시안 프로세스(DGP)와 비교할 때 제안된 DGCN 프레임워크의 성능은 어떠한가?
• RQ3 DGCN 프레임워크는 대규모 데이터셋에 대해 미니배치 또는 온라인 학습을 통해 얼마나 확장 가능한 훈련을 지원할 수 있는가?
• RQ4 수동 조정 없이 DGCN은 여러 개의 공분산 함수를 자동으로 선택하고 조합할 수 있는가? 이는 더 나은 일반화 성능로 이어지는가?
• RQ5 학습된 공간적으로 변화하는 길이 척도 θ* 덕분에 모델은 개선된 국소 민감도 추정치를 제공하는가?

주요 결과

• 보스턴 주택 데이터셋에서 DGCN은 모든 비교 방법보다 낮은 RMSE를 기록했으며, 평균 RMSE는 0.259 ± 0.01로, 다음으로 우수한 방법의 0.285보다 낮았다.
• UCI 회귀 벤치마크에서 DGCN은 다섯 가지 예제 중 네 가지에서 딥 가우시안 프로세스(DGP)를 능가했으며, RMSE는 각각 콘크리트 3.67 ± 0.06, 에너지 1 0.37 ± 0.01, 에너지 2 0.54 ± 0.01, kin8nm 0.06 ± 0.00이었다.
• 파워 데이터셋에서 DGCN은 RMSE 2.91 ± 0.00을 기록했으며, DGP의 2.95 ± 0.30보다 略적으로 뛰어나지만, 후자의 분산이 더 높았다.
• DNN 아키텍처의 재조정 없이도 다양한 문제 유형, 즉 시계열 및 회귀 문제에서 일관된 성능을 보였다.
• 배치 처리를 통해 확장 가능한 훈련이 가능해져, kin8nm(8,192개 샘플) 및 파워(9,568개 샘플)와 같은 대규모 데이터셋을 효율적으로 처리할 수 있게 되었다.