[논문 리뷰] Efficient Amortised Bayesian Inference for Hierarchical and Nonlinear Dynamical Systems

Geoffrey Roeder, Paul K. Grant외 3명|arXiv (Cornell University)|2019. 05. 28.

Gaussian Processes and Bayesian Inference인용 수 10

한 줄 요약

이 논문은 미분 가능한 미분방정식과 블록 조건부 변분 autoencoder를 사용하여 계층적이고 비선형 동적 시스템을 위한 확장성 있고 암시적 베이지안 추론 프레임워크인 VI-HDS를 제안한다. 백그라운드 기계적 모델(화이트박스)과 블랙박스 신경망을 결합함으로써, 여러 생물학적 장치에서 빠르고 정확한 추론을 가능하게 하며, MCMC에 비해 우수한 확장성과 함께 제로샷 일반화를 달성하면서도 해석 가능성과 예측 정확도를 유지한다.

ABSTRACT

We introduce a flexible, scalable Bayesian inference framework for nonlinear dynamical systems characterised by distinct and hierarchical variability at the individual, group, and population levels. Our model class is a generalisation of nonlinear mixed-effects (NLME) dynamical systems, the statistical workhorse for many experimental sciences. We cast parameter inference as stochastic optimisation of an end-to-end differentiable, block-conditional variational autoencoder. We specify the dynamics of the data-generating process as an ordinary differential equation (ODE) such that both the ODE and its solver are fully differentiable. This model class is highly flexible: the ODE right-hand sides can be a mixture of user-prescribed or "white-box" sub-components and neural network or "black-box" sub-components. Using stochastic optimisation, our amortised inference algorithm could seamlessly scale up to massive data collection pipelines (common in labs with robotic automation). Finally, our framework supports interpretability with respect to the underlying dynamics, as well as predictive generalization to unseen combinations of group components (also called "zero-shot" learning). We empirically validate our method by predicting the dynamic behaviour of bacteria that were genetically engineered to function as biosensors. Our implementation of the framework, the dataset, and all code to reproduce the experimental results is available at https://www.github.com/Microsoft/vi-hds .

연구 동기 및 목표

• 고속 생물학적 실험에서 비선형 미분방정식 기반 동적 시스템의 매개변수를 추론하는 데 있어 전통적인 MCMC 방법의 계산 비효율성을 해결하기 위해.
• 개인, 그룹, 인구 수준의 계층적 변동성을 지원하는 확장성 있고 암시적 추론 프레임워크를 개발하기 위해.
• 모델의 조합적 구조를 활용하여 미리 보지 않은 그룹 구성에 대한 제로샷 일반화를 가능하게 하기 위해.
• 예측 정확도와 강건성을 향상시키기 위해 해석 가능한 기계적(화이트박스) 동역학과 유연한 블랙박스 신경망 구성 요소를 결합하기 위해.
• 통합적이고 미분 가능한 추론 프레임워크를 통해 경쟁적인 기계적 가설 간에 빠른 폐쇄 루프 반복을 지원하기 위해.

제안 방법

• 개인, 그룹, 인구 수준의 계층적 잠재 변수를 모델링하기 위해 블록 조건부 인수 분해를 적용한 조건부 변분 autoencoder(CVAE)를 사용한다.
• 데이터 생성 과정은 완전히 미분 가능한 ODE로 정의되며, 오른쪽 항은 사용자가 지정한 방정식(화이트박스)과 신경망(블랙박스)으로 구성된다.
• 역방향 자동 미분을 활용하여 ODE 솔버를 통해 전방향 전파를 끝내는 엔드 투 엔드 백프로파게이션을 수행하는 변분 하한(ELBO)의 확률적 최적화를 통해 추론을 수행한다.
• 암시적 추론은 유사한 시스템 간에 추론 네트워크를 공유함으로써 대규모 데이터셋에서 빠른 사후 분포 근사화를 가능하게 한다.
• 다양한 장치와 신호의 동시 학습을 지원하여 통계적 강도를 공유하고 일반화 능력을 향상시킨다.
• 생물학적 해석 가능성을 확보하기 위해 블랙박스 모델에 타당성 제약 조건을 적용한다. 예를 들어, 비음수 상태 변수와 별도의 생성/분해 항을 포함한다.

실험 결과

연구 질문

• RQ1 미분 가능한 블록 조건부 VAE를 기반으로 한 암시적 변분 추론이 계층적 비선형 동적 시스템에 대해 확장성 있고 정확한 추론을 달성할 수 있는가?
• RQ2 화이트박스 ODE와 블랙박스 신경망을 조합한 하이브리드 모델이 해석 가능성은 유지하면서도 예측 정확도를 향상시킬 수 있는가?
• RQ3 합성 생물학 응용 분야에서 모델이 얼마나 높은 수준의 제로샷 학습(미리 보지 않은 그룹 구성에 대한 일반화)을 달성할 수 있는가?
• RQ4 기존 MCMC 방법에 비해 자동 실험실에서 유도된 대규모 고속 스루풋 데이터셋에 대해 이 프레임워크는 어떻게 확장되는가?
• RQ5 다양한 장치 간의 동시 추론이 예측 성능과 모델 강건성을 향상시킬 수 있는가?

주요 결과

• VI-HDS 프레임워크는 최신 MCMC 방법과 유사한 예측 정확도를 달성하지만 훨씬 빠른 훈련 시간을 보이며, 대규모 데이터셋에서의 확장 가능한 추론을 가능하게 한다.
• 블랙박스 모델은 C12 처리에 대한 비단조화적인 YFP 반응을 정확하게 예측하지만, 화이트박스 모델은 최종 시간점에서 예측이 부정확하여 모델 잘못 설정이 있음을 시사한다.
• 보류된 장치에 대한 제로샷 일반화가 성공적으로 구현되었으며, 블랙박스 모델은 이전에 보지 않은 R33-S34 장치의 반응을 정확하게 예측하였다.
• 모델은 화이트박스와 블랙박스 동역학 간의 빠른 비교를 가능하게 하여, 화이트박스 모델이 [YFP]와 [CFP]의 일시적인 변동성을 블랙박스 모델보다 더 뚜렷하게 보여주는 것으로 드러났다.
• 다양한 장치 간의 동시 추론은 예측 성능 향상과 임의의 지정된 모델에 대해 달성 가능한 정확도의 상한선을 제공한다.
• 기계적 구조와 매개변수의 기울기 기반 최적화를 가능하게 하여, 효율적인 폐쇄 루프 모델 반복과 합성 생물학에서의 능동 학습을 지원한다.