[논문 리뷰] Non-Factorised Variational Inference in Dynamical Systems

Alessandro Davide Ialongo, Mark van der Wilk외 2명|arXiv (Cornell University)|2018. 12. 14.

Gaussian Processes and Bayesian Inference참고 문헌 8인용 수 7

한 줄 요약

이 논문은 동적 시스템에서의 불확실성 캘리브레이션을 향상시키기 위해 가우시안 프로세스 상태공간 모델(GPSSMs)에 대한 인과적 요인분해가 아닌 변분 추론을 제안한다. 잠재 상태의 후행분포를 상태나 유도점들 사이에 인과적으로 분해하는 대신 전체 GP 전이 함수에 조건부로 의존하도록 모델링하여, 특히 장기간의 시퀀스에서 예측의 과신을 방지한다. 실험 결과, 표준 인과적 방법에 비해 더 나은 불확실성 정량화를 보였다.

ABSTRACT

We focus on variational inference in dynamical systems where the discrete time transition function (or evolution rule) is modelled by a Gaussian process. The dominant approach so far has been to use a factorised posterior distribution, decoupling the transition function from the system states. This is not exact in general and can lead to an overconfident posterior over the transition function as well as an overestimation of the intrinsic stochasticity of the system (process noise). We propose a new method that addresses these issues and incurs no additional computational costs.

연구 동기 및 목표

• GPSSMs에 대한 인과적 변분 추론에서 흔히 발생하는 과신과 열악한 불확실성 캘리브레이션 문제를 해결하기 위해.
• 비선형 역학을 가진 시계열 모델에서 후행분포의 인과적 분해 방식이 불확실성 추정에 어떤 영향을 미치는지 조사하기 위해.
• 시퀀스 길이에 따라 입체 비용이 증가하지 않도록 하면서도 전체 GP 후행의 의존성을 유지하는 가용성 있는 추론 방법을 개발하기 위해.
• 예측 불확실성과 적합도 측면에서 비인과적 후행분포를 기존의 인과적 및 유도점 기반 방법과 비교하기 위해.
• 다양한 후행분포 구조가 학습된 역학과 잠재 상태 궤적에서의 불확실성 전파에 어떤 영향을 미치는지 평가하기 위해.

제안 방법

• 잠재 상태 분포가 유도점이나 독립적인 요인들 뿐 아니라 전체 GP 전이 함수에 의존하는 비인과적 변분 후행분포를 제안한다.
• 조건부 상태 후행분포에 마르코프 성질을 적용한다: $ q(\mathbf{x}_{t+1} \mid f, \mathbf{x}_t) $, 이는 시간적 의존성을 유지한다.
• 유도점을 사용하여 GP 사전분포를 근사함으로써 $ q(f) = p(f^\setminus\mathbf{u} \mid \mathbf{u}) q(\mathbf{u}) $를 통한 계산 가능성을 확보한다.
• 두 가지 스케일러블한 근사 방법을 도입한다: 조건부 집합 크기를 제한하기 위한 '체닝(chunking)'과 오직 유도점 $ \mathbf{u} $에만 조건부로 의존하는 'U-팩터라이제이션'.
• 변분 하한에서 기대값을 계산하기 위해 몬테카를로 샘플링을 사용하고, 데이터 청크에 대한 이중 스토하스틱 최적화를 수행한다.
• 전이 함수 $ f $ 에 비모수적 GP 사전분포를 적용하여 비선형 역학의 유연성과 함께 불확실성 추정이 가능한 모델을 구현한다.

실험 결과

연구 질문

• RQ1 비인과적 변분 추론은 기존의 인과적 방법에 비해 GPSSMs에서 불확실성 캘리브레이션을 어떻게 향상시키는가?
• RQ2 잠재 상태 후행분포를 전체 GP 함수에 조건부로 설정하는 것과 유도점들만에 조건부로 설정하는 것의 영향은 무엇인가?
• RQ3 비인과적 후행분포는 계산 비용 증가 없이 장기간 시퀀스에서도 정확한 불확실성 추정을 유지할 수 있는가?
• RQ4 다양한 후행분포 인과적 분해 방식이 학습된 역학과 예측 성능에 어떤 영향을 미치는가?
• RQ5 변분 GPSSM 추론에서 계산 효율성과 불확실성 품질 사이의 상충 관계는 어떠한가?

주요 결과

• 비인과적 후행분포는 특히 데이터가 희소한 영역에서 인과적 방법에 비해 과신을 크게 줄였다.
• 유도점에만 조건부로 의존하는 U-팩터라이제이션 방법은 100개의 유도점을 사용할 경우 전체 비인과적 후행분포와 유사한 성능을 달성했다.
• 인과적 모델은 거의 동일한 결과를 내보내, 핵심 문제는 특정 구현 방식이 아니라 인과적 분해 가정에 있음을 시사한다.
• U-팩터라이제이션 방법은 시퀀스 길이에 대해 선형적으로 스케일링되는 효율적인 추론을 가능하게 하여 전체 GP 조건부 설정의 입체 비용을 피했다.
• 비인과적 후행분포는 잘 캘리브레이션된 불확실성을 유지하면서 복잡한 비선형 역학을 성공적으로 포착했으며, 윤곽도에서 정확한 2σ 신뢰구간을 보였다.
• 굽은 전이 함수 실험에서 비인과적 및 U-팩터라이제이션 후행분포는 진짜 후행분포와 시각적으로 구분되지 않았고, 반면 인과적 모델은 과신된, 캘리브레이션되지 않은 불확실성을 보였다.