[논문 리뷰] Learning Deep Hidden Nonlinear Dynamics from Aggregate Data

Yisen Wang, Bo Dai외 4명|arXiv (Cornell University)|2018. 07. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 3

한 줄 요약

이 논문은 워샤르스키 거리(Wasserstein distance)를 사용하여 가능도 기반 및 사후 기반 추론 없이 집계 데이터로부터 비선형 숨겨진 동역학을 학습하는 딥 생성 모델인 LEGEND을 제안한다. 은닉 확률 과정을 통해 복잡한 확산 과정을 모델링하고 분포 일치 최적화를 통해, 합성 및 실세계 데이터셋에서 필터링 및 스무딩 작업에서 최신 기술 수준의 성능을 달성한다. 이는 이론적 수렴성 및 일반화 보장과 함께 이루어진다.

ABSTRACT

Learning nonlinear dynamics from diffusion data is a challenging problem since the individuals observed may be different at different time points, generally following an aggregate behaviour. Existing work cannot handle the tasks well since they model such dynamics either directly on observations or enforce the availability of complete longitudinal individual-level trajectories. However, in most of the practical applications, these requirements are unrealistic: the evolving dynamics may be too complex to be modeled directly on observations, and individual-level trajectories may not be available due to technical limitations, experimental costs and/or privacy issues. To address these challenges, we formulate a model of diffusion dynamics as the {\em hidden stochastic process} via the introduction of hidden variables for flexibility, and learn the hidden dynamics directly on {\em aggregate observations} without any requirement for individual-level trajectories. We propose a dynamic generative model with Wasserstein distance for LEarninG dEep hidden Nonlinear Dynamics (LEGEND) and prove its theoretical guarantees as well. Experiments on a range of synthetic and real-world datasets illustrate that LEGEND has very strong performance compared to state-of-the-art baselines.

연구 동기 및 목표

• 개별 수준의 종단 간 궤적 데이터가 확보되지 않은 상황에서 복잡한 비선형 확산 동역학을 학습하는 데 도전한다.
• 완전한 개인 추적 없이도 변화하는 집계 관측치를 지배하는 은닉 연속 확률 과정을 모델링한다.
• 동적 파rameter 추정 및 은닉 상태 추론을 위한 가능도 기반 및 사후 기반 학습 프레임워크를 개발한다.
• 제안된 방법에 대해 일반화 및 수렴 보장을 이론적으로 제공한다.
• 합성 및 실세계 데이터셋(예: 세포 분화 및 새 이동)에서 프레임워크를 경험적으로 검증한다.

제안 방법

• 은닉 상태 공간 $X_t$ 내에서 연속 확률 미분 방정식(SDE)으로 기저 동역학을 수식화한다.
• 은닉 상태 $X_t$ 의 비선형 함수 $\mathbf{f}(X_t)$ 로 관측치 $Y_t$ 를 모델링하여 복잡한 관측 맵핑을 가능하게 한다.
• 딥 뉴럴 네트워크(예: LSTM를 갖는 RNN)를 사용해 도함수 $\mathbf{g}(X_t)$ 와 관측 함수 $\mathbf{f}(X_t)$ 를 매개변수화한다.
• 예측된 관측치의 주변 분포와 진짜 주변 분포 간 워샤르스키 거리를 최적화하여 모델 파라미터를 학습한다.
• 분포 일치를 통해 은닉 동역학과 관측 맵핑을 동시에 학습하는 동적 생성 모델을 적용한다.
• 가능도 기반 추정 및 사후 추론을 회피하기 위해 훈련 목적함수로 분포 불일치를 사용한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 개인 수준의 궤적 없이 집계 관측치로부터 복잡한 비선형 동역학을 학습할 수 있는가?
• RQ2 워샤르스키 거리는 은닉 동역계에서 가능도 기반 훈련의 효과적 대체 수단이 될 수 있는가?
• RQ3 제안된 프레임워크는 필터링 및 스무딩 작업에서 최신 기술 수준의 베이스라인보다 더 뛰어난 성능을 보일 수 있는가?
• RQ4 이 가능도 기반, 사후 기반 없는 설정에서 일반화 및 수렴 보장은 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 모델은 多변량 동역학에서 주변 분포와 상관 구조를 모두 포착할 수 있는가?

주요 결과

• LEGEND는 유전자 발현 데이터의 필터링(D7) 및 스무딩(D4) 작업에서 모두 가장 낮은 워샤르스키 오차를 기록하여 모든 베이스라인을 압도했다.
• Krt8 및 Krt18의 예측 주변 분포는 그림 3에서 진짜 분포와 밀도 높게 일치했으며, 이는 동역학적 진화의 정확한 모델링을 의미한다.
• 그림 4에서 보듯이 LEGEND는 Krt8과 Krt18 간의 시간에 따른 상관 구조를 효과적으로 포착했으며, 베이스라인 대비 진짜 값에 더 가까운 예측을 보였다.
• 새 이동 데이터에서 LEGEND는 필터링(6월) 및 스무딩(4월) 작업 모두에서 가장 낮은 워샤르스키 오차를 기록하여 실세계 복잡한 동역학에 대한 강건성을 입증했다.
• 이론적 분석을 통해 일반화 및 수렴 보장을 확립하였으며, 이는 가능도 기반, 사후 기반 없는 동적 학습 프레임워크 분야에서 최초의 보장이다.
• 새 이동과 같이 매우 비선형적이며 불규칙한 환경 요인에 의해 영향을 받는 동역학 상황에서도 모델은 뛰어난 성능을 보였다.