[논문 리뷰] Stochastic Differential Equations with Variational Wishart Diffusions

Martin Jørgensen, Marc Peter Deisenroth외 1명|arXiv (Cornell University)|2020. 06. 26.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 상태에 따라 변화하는 이질적 분산을 모델링하기 위해 변분 위샤르트 과정을 사용하는 확률적 미분 방정식(SDE)을 이용한 연속시간 동역계를 위한 베이지안 비모수 프레임워크를 제안한다. 노이즈의 완전한 공분산 구조를 허용함으로써 고차원적이고 상관관계가 있는 시간 시계열 시스템의 모델링을 향상시키고 과적합을 줄이며, 실험 결과에서 대각선 노이즈 및 비스토크래틱 기준 모델 대비 일관된 성능 향상을 보였다.

ABSTRACT

We present a Bayesian non-parametric way of inferring stochastic differential equations for both regression tasks and continuous-time dynamical modelling. The work has high emphasis on the stochastic part of the differential equation, also known as the diffusion, and modelling it by means of Wishart processes. Further, we present a semi-parametric approach that allows the framework to scale to high dimensions. This successfully lead us onto how to model both latent and auto-regressive temporal systems with conditional heteroskedastic noise. We provide experimental evidence that modelling diffusion often improves performance and that this randomness in the differential equation can be essential to avoid overfitting.

연구 동기 및 목표

• 연속시간 모델링을 위한 다변량 확률적 미분 방정식(SDE)에서 독립적이고 동질적인 노이즈의 한계를 해결하기 위해.
• 위샤르트 과정을 사용하여 상태에 따라 변화하는 완전한 랭크 공분산 행렬로 과정 노이즈를 모델링함으로써 차원 간 공동 동역학을 가능하게 하기 위해.
• 고차원 시스템에서 출력 차원 간 독립성 가정을 피하는 스케일러블한 반-모수적 추론 방법을 개발하기 위해.
• 위샤르트 과정으로 확산을 모델링할 경우 시간 시리즈 모델링 과제에서 일반화 및 강인성 향상 여부를 조사하기 위해.
• 복잡하고 구조화된 노이즈를 가진 SDE의 연속시간 학습에서 효율적인 훈련을 가능하게 하는 변분 추론 프레임워크를 제공하기 위해.

제안 방법

• 드리프트와 확산을 가우시안 프로세스로 모델링하며, 확산은 완전한 공분산 구조를 허용하기 위해 위샤르트 과정으로 매개변수화한다.
• 잠재 함수의 사후분포를 근사하기 위해 변분 추론 접근법을 사용하여 스케일러블한 학습을 가능하게 한다.
• 고차원 설정에서의 계산 가능성을 유지하기 위해 위샤르트 과정에 대해 저랭크 근사를 도입한다.
• 큰 데이터셋에 스케일링하기 위해 짧은 시간 시퀀스를 사용한 미니배치 훈련과 Adam 최적화기를 적용한다.
• 시간 간격 내에서 SDE가 정의되는 연속시간 설정을 적용하여 비등간격 관측치의 모델링을 가능하게 한다.
• 모수적 드리프트와 비모수적, 상태에 의존하는 확산을 조합한 반-모수적 접근법을 구현한다.

실험 결과

연구 질문

• RQ1 SDE의 확산 항을 상태에 의존하는 위샤르트 과정으로 모델링할 경우, 독립적 또는 대각선 노이즈 대비 다변량 시계열 모델링 성능 향상이 이루어지는가?
• RQ2 구조화된 상관관계가 있는 과정 노이즈가 고차원 동역계에서 일반화 및 과적합에 어떤 영향을 미치는가?
• RQ3 상호차원 간 독립성 가정 없이도 위샤르트 기반 SDE 프레임워크가 고차원 데이터에 얼마나 스케일링 가능한가?
• RQ4 실제로 상관관계가 있는 시간 시리즈 데이터를 가진 예측 과제에서, 제안된 모델이 i.i.d. 또는 대각선 노이즈를 가진 표준 SDE보다 성능이 뛰어나게 되는가?
• RQ5 모델의 초모수, 예를 들어 위샤르트 근사의 랭크에 대해 얼마나 민감한가? 실질적으로 낮은 랭크의 구조를 선호하는가?

주요 결과

• 제안된 diffWGP 모델은 공기질 및 합성 작업을 포함한 여러 데이터셋에서 대각선 노이즈 또는 노이즈 없음 기반 모델보다 일관되게 뛰어난 성능을 보였다.
• 베이징 공기질 데이터셋에서 위샤르트 확산 모델은 48시간 예측 기간 동안 가장 높은 로그우도를 기록했으며, 안정적이고 내성적인 예측 성능을 보였다.
• 위샤르트 확산 모델은 온도 변화와 같은 공간적으로 가까운 측정소 간의 공동 동역학을 포착했으며, 대각선 노이즈 모델은 이를 학습하지 못했다.
• 포도주 및 전력 데이터셋에서는 데이터가 거의 선형적이거나 저차원적이므로 성능 향상이 미미했으며, 이는 본 방법의 가장 큰 이점이 복잡한 고차원 시스템에 있음을 시사한다.
• 드리프트 없이 위샤르트 확산만 있는 모델은 성능이 열악했으며, 이는 시간적 변화를 포착하기 위해 구조화된 드리프트가 필수적임을 확인한다.
• 초모수 분석 결과, 고랭크 위샤르트 근사에 대한 강한 선호가 없었으며, 낮은 랭크의 구조가 일반적으로 충분하며, 위샤르트 과정의 훈련이 여전히 도전적임을 시사한다.