[논문 리뷰] Scalable Variational Inference for Dynamical Systems

Nico S. Gorbach, Stefan Bauer외 1명|arXiv (Cornell University)|2017. 05. 19.

Gaussian Processes and Bayesian Inference참고 문헌 9인용 수 9

한 줄 요약

이 논문은 수치적 통합의 비용이 높은 것을 피하기 위해 기울기 매칭을 사용하여 관측되지 않은 상태와 모델 파라미터를 동시에 추론하는 확장 가능한 변분 추론 프레임워크를 제안한다. 1000개 상태를 가진 시스템을 400초 이내에 추론하며, 부분 관측성과 모델 잘못 설정 조건에서도 높은 정확도를 유지하면서도 상당한 속도 향상을 달성한다.

ABSTRACT

Gradient matching is a promising tool for learning parameters and state dynamics of ordinary differential equations. It is a grid free inference approach, which, for fully observable systems is at times competitive with numerical integration. However, for many real-world applications, only sparse observations are available or even unobserved variables are included in the model description. In these cases most gradient matching methods are difficult to apply or simply do not provide satisfactory results. That is why, despite the high computational cost, numerical integration is still the gold standard in many applications. Using an existing gradient matching approach, we propose a scalable variational inference framework which can infer states and parameters simultaneously, offers computational speedups, improved accuracy and works well even under model misspecifications in a partially observable system.

연구 동기 및 목표

• 대규모 동적 시스템에서 수치적 통합의 계산적 병목 현상을 해결한다.
• 관측되지 않거나 부분적으로 관측되는 변수를 다루는 데 있어 기존 기울기 매칭 방법의 한계를 극복한다.
• 희소 관측과 모델 잘못 설정 조건에서도 정확도를 유지하는 확장 가능한 추론 프레임워크를 개발한다.
• 수치적 통합에 의존하지 않고 결정론적 ODE에서 상태와 파라미터를 효율적으로 동시에 추론할 수 있도록 한다.

제안 방법

• 잠재 상태와 모델 파라미터를 동시에 추론하기 위해 평균장 근사법을 사용한 변분 추론 접근법을 제안한다.
• 기울기 매칭을 가능하게 하기 위해 상태 경로에 대해 가우시안 프로세스 사전분포를 사용하고, 미분 가능한 커널을 적용한다.
• GP 성질과 커널 도함수를 활용해 상태 도함수의 사후분포에 대한 닫힌 형태의 표현식을 유도한다.
• ODE 역학과 GP 기반 도함수 추정치를 결합하기 위해 전문가의 곱( product of experts ) 형식을 적용한다.
• 상태 사후분포와 파라미터 추정치를 번갈아가며 업데이트하는 격자 없는 반복 최적화 기법을 적용한다.
• 변분 추론의 확장성 덕분에 표준 하드웨어에서도 최대 1000개 상태를 효율적으로 처리할 수 있다.

실험 결과

연구 질문

• RQ1 확장 가능한 변분 추론이 대규모이고 부분적으로 관측되는 동적 시스템에서 상태와 파라미터의 동시 추정에 대해 충분히 정확하고 빠르게 작동할 수 있는가?
• RQ2 제안된 방법은 수치적 통합과 기존 기울기 매칭 기법에 비해 실행 시간과 정확도 측면에서 어떻게 비교되는가?
• RQ3 이 방법은 모델 잘못 설정과 희소하거나 관측되지 않은 상태 변수를 얼마나 잘 처리할 수 있는가?
• RQ4 시스템 차원이 증가함에 따라 성능이 유지되는가? 특히 로렌츠 96과 같은 고차원 ODE에서 그러한가?

주요 결과

• 표준 랩탑에서 1000개 상태를 가진 동적 시스템을 400초 이내에 추론하여 강력한 확장성을 입증한다.
• 1000개 상태를 가진 로렌츠 96 시스템에서 1/3이 관측되지 않을 경우, 시스템 크기와 무관하게 관측되지 않은 상태에 대해 낮은 평균제곱오차(RMSE)를 달성한다.
• 고소음과 부분 관측 조건에서 기준 기울기 매칭(AGM)에 비해 ODE 파라미터 추정의 RMSE를 최대 80%까지 감소시킨다.
• 제안된 방법의 결과를 기반으로 수치적 통합을 초기화하면 표준 방법보다 훨씬 낮은 추정 오차를 얻는다.
• 희소하거나 불완전한 관측 조건에서 기존 기울기 매칭 기법보다 실행 시간과 정확도 측면에서 모두 뛰어나다.
• 함수 형태 잘못 설정 조건에서도 이 방법은 강건성을 보이며, 향후 모델링 가정의 유연화 가능성을 시사한다.