[논문 리뷰] Bayesian Alignments of Warped Multi-Output Gaussian Processes

Markus Kaiser, Clemens Otte외 2명|arXiv (Cornell University)|2017. 10. 08.

Gaussian Processes and Bayesian Inference참고 문헌 18인용 수 3

한 줄 요약

이 논문은 비선형 시간 정렬과 다중 시계열 간 공유 잠재 구조를 모델링하는 베이지안 프레임워크인 왜곡된 다중 출력 가우시안 프로세스(AMO-GP)를 제안한다. 공유된 컨volution 프로세스 레이어와 변분 추론, 커널 통계량에 대한 닫힌 형태의 기대값을 도입함으로써, 모델은 민감한 불확실성 전파를 가능하게 하며, 표준 GPs보다 교차 출력 의존성과 비선형 왜곡을 더 잘 포착한다.

ABSTRACT

We propose a novel Bayesian approach to modelling nonlinear alignments of time series based on latent shared information. We apply the method to the real-world problem of finding common structure in the sensor data of wind turbines introduced by the underlying latent and turbulent wind field. The proposed model allows for both arbitrary alignments of the inputs and non-parametric output warpings to transform the observations. This gives rise to multiple deep Gaussian process models connected via latent generating processes. We present an efficient variational approximation based on nested variational compression and show how the model can be used to extract shared information between dependent time series, recovering an interpretable functional decomposition of the learning problem. We show results for an artificial data set and real-world data of two wind turbines.

연구 동기 및 목표

• 표준 다중 출력 GPs가 강성 있는 정렬 가정으로 인해 실패하는 복잡한 비선형 시간 정렬을 다중 시계열 간에 모델링하기 위해.
• 상대적 시간 오프셋과 비선형 왜곡을 포착하는 공유된 컨볼루션 프로세스 레이어를 통해 다중 딥 가우시안 프로세스 간 정보 공유를 가능하게 하기 위해.
• 커널 통계량에 대한 닫힌 형태의 기대값을 포함한 변분 추론 기반 최적화 방법을 개발하여 효율적인 최적화와 불확실성 정량화를 가능하게 하기 위해.
• 특히 시간에 따라 잘못 정렬되거나 비선형적으로 변환된 관측치가 있는 경우, 데이터로부터 공유 잠재 역학과 개별 출력 전용 왜곡 함수를 복원하기 위해.
• 정렬과 왜곡에 대한 원칙적인 베이지안 처리를 통합함으로써 표준 다중 출력 및 딥 가우시안 프로세스보다 모델링의 유연성과 정확도를 향상시키기 위해.

제안 방법

• 다중 딥 가우시안 프로세스 간의 정보 공유를 가능하게 하는 공유된 컨볼루션 프로세스(CP) 레이어를 도입하여 공통 인터페이스로 기능한다.
• 정렬 변수에 대한 변분 분포 q(a) ∼ N(μa, Σa)를 통해 잠재 시간 정렬에 대한 베이지안 처리를 수행한다.
• GP 사전분포와 변분 근사 하에서 커널 행렬에 대한 핵심 Ψ-통계량(Ψf = E[Kfu], Φf = E[KufKfu], ψf = E[tr(Kff)])에 대한 닫힌 형태의 표현식을 유도한다.
• 각 출력에 대해 비선형 시간 변환을 모델링하기 위한 왜곡 레이어 g_d를 사용하여, 일정한 오프셋을 초월한 민감한 정렬을 가능하게 한다.
• 다중 GPs를 동시에 다룰 수 있도록 공유 유도 변수를 활용하는 다중 출력 딥 GP 추론을 위한 내재된 변분 압축 기법을 적응한다.
• 데이터 포인트를 따라 기대값의 분해를 활용하여 확률적 최적화를 수행함으로써, O(NM²) 시간 복잡도에서 효율적인 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비선형 시간 정렬을 효과적으로 모델링하면서도 정렬 매개변수의 불확실성을 유지할 수 있는가?
• RQ2 관측치가 시간에 따라 잘못 정렬되거나 비선형적으로 왜곡된 경우, 다중 출력 간 공유된 잠재 구조를 어떻게 모델링할 수 있는가?
• RQ3 불확실한 정렬이 있는 컨볼루션 프로세스 하에서 커널 기대 통계량(Ψf, Φf, ψf)에 대한 닫힌 형태의 해가 존재하는가?
• RQ4 제안된 AMO-GP 모델은 표준 다중 출력 및 딥 가우시안 프로세스에 비해 예측 성능과 구조 복원 능력을 어느 정도 향상시키는가?
• RQ5 비선형 시간 왜곡이 존재하는 상황에서도 모델은 공유된 잠재 역학과 개별 왜곡 함수를 모두 데이터로부터 복원할 수 있는가?

주요 결과

• 합성 데이터에서 AMO-GP 모델은 진짜 비선형 정렬과 왜곡 함수를 성공적으로 복원하며, 표준 다중 출력 및 딥 GPs 모델을 능가한다.
• 표준 다중 출력 GPs가 고정된 시간 오프셋을 가정하기 때문에 실패하는 교차 출력 의존성을 모델이 포착한다.
• RBF 및 선형 커널 가정 하에서 Ψ-통계량(Ψf, Φf, ψf)에 대한 닫힌 형태의 해가 유도되어 효율적인 확률적 최적화를 가능하게 한다.
• 공유된 컨볼루션 프로세스 레이어 덕분에 다중 딥 GPs 간 효과적인 정보 공유가 가능해져 일반화 및 예측 성능이 향상된다.
• 실제 풍력 터빈 데이터셋에서 AMO-GP는 공유된 주로 풍속 조건과 터빈에 도달하는 바람의 상대적 시간을 성공적으로 복원했다.
• 얕은 GPs나 딥 GPs 모델이 높은 불확실성 영역에서 사전분포로 회귀하는 것과 달리, 이 모델은 정렬 불확실성을 학습하고 전파할 수 있어 이를 피한다.