[논문 리뷰] Generative Ensemble-Regression: Learning Stochastic Dynamics from Discrete Particle Ensemble Observations.

Liu Yang, Constantinos Daskalakis외 1명|arXiv (Cornell University)|2020. 08. 05.

Model Reduction and Neural Networks참고 문헌 10인용 수 13

한 줄 요약

이 논문은 스팀라하고 쌍방향으로 연결되지 않은 입자 집합 관측치에서 확률 미분 방정식을 추론하기 위한 Generative Ensemble-Regression 방법을 소개한다. 이 방법은 슬라이스드 워셔스타인 거리와 적대적 손실과 같은 메트릭을 사용해 확률 측도 공간에서 관측된 분포 역학을 일치시키는 생성 모델을 훈련시켜, 브라운 운동과 레비 과정을 갖는 최대 20차원 SDE에서의 드리프트 및 확산 항을 성공적으로 학습한다. 이론적 수렴 보장이 있다.

ABSTRACT

We propose a new method for inferring the governing stochastic ordinary differential equations by observing particle ensembles at discrete and sparse time instants, i.e., multiple Particle coordinates at a single time instant, possibly noisy or truncated, are recorded in each snapshot but are unpaired across the snapshots. By training a generative model that generates fake sample paths, we aim to fit the observed particle ensemble distributions with a curve in the probability measure space, which is induced from the inferred particle dynamics. We employ different metrics to quantify the differences between distributions, like the sliced Wasserstein distances and the adversarial losses in generative adversarial networks. We refer to this approach as generative ensemble-regression, in analogy to the classic point-regression, where we infer the dynamics by performing regression in the Euclidean space, e.g. linear/logistic regression. We illustrate the ensemble-regression by learning the drift and diffusion terms of particle ensembles governed by stochastic ordinary differential equations with Brownian motions and Levy processes up to 20 dimensions. We also discuss how to treat cases with noisy or truncated observations, as well as the scenario of paired observations, and we prove a theorem for the convergence in Wasserstein distance for continuous sample spaces.

연구 동기 및 목표

• 입자 식별자가 시간에 따라 추적되지 않는 이산적이고 쌍방향으로 연결되지 않은 입자 집합 관측치에서 확률적 역학을 학습하는 데 도전하는 것.
• 점별 궤적 대신 확률 측도 공간에서 관측된 분포 데이터에 맞추어 지배적인 SDE를 추론하는 프레임워크를 개발하는 것.
• 관측 과정에서 노이즈 또는 잘린 관측치와 같은 실용적 문제를 다루는 것.
• 연속된 표본 공간 조건 하에서 추론된 역학이 워셔스타인 거리에서 수렴하는 것을 확립하는 것.
• 측도 공간에서 곡선으로서 입자 집합의 분포를 모델링함으로써 고전적 점-회귀를 집합 수준의 회귀로 확장하는 것.

제안 방법

• 이산적 시간점에서 관측된 입자 집합의 근사 분포를 재현하는 샘플 경로를 생성하는 생성 모델을 훈련시켜, 관측된 분포 역학을 재현하는 것.
• 실제 및 생성된 집합 간의 분포 차이를 측정하고 최소화하기 위해 슬라이스드 워셔스타인 거리와 적대적 손실을 사용하는 것.
• 점-회귀에 유사한 확률 측도 공간에서의 회귀 문제로 추론 문제를 공식화하는 것, 그러나 점이 아닌 분포를 대상으로 하는 것.
• 알 수 없는 드리프트 및 확산 계수를 갖는 확률 미분 방정식을 사용해 동역학을 모델링하고, 생성 훈련을 통해 추론하는 것.
• 불완전하거나 손상된 관측치를 고려하기 위해 생성 모델을 설계하여 노이즈 및 잘림에 대한 강건성을 확보하는 것.
• 기본 과정에 대한 미약한 정규성 조건 하에서 추론된 측도 값 곡선이 워셔스타인 거리에서 수렴함을 증명하는 것.

실험 결과

연구 질문

• RQ1 시간에 따라 흐린, 쌍방향으로 연결되지 않은 관측치에서 입자 집합의 드리프트 및 확산 계수를 정확하게 추론할 수 있는가?
• RQ2 입자 식별자가 유지되지 않을 경우 입자 집합의 진화를 확률 측도 공간의 곡선으로 어떻게 모델링할 수 있는가?
• RQ3 노이즈 또는 잘린 관측치 하에서 입자 집합의 근사 분포를 일치시키는 데 가장 효과적인 생성 모델링 기법은 무엇인가?
• RQ4 슬라이스드 워셔스타인 거리와 적대적 손실을 사용할 경우, 표준 GAN이나 모멘트 매칭 대비 추론된 역학의 정밀도가 어떻게 향상되는가?
• RQ5 추론된 측도 값 곡선이 워셔스타인 거리에서 진정한 기저 역학으로 수렴하는 조건은 무엇인가?

주요 결과

• 제안된 Generative Ensemble-Regression 방법은 브라운 운동과 레비 과정을 갖는 최대 20차원 SDE에서 쌍방향으로 연결되지 않은 흐린 관측치로부터 드리프트 및 확산 항을 성공적으로 학습한다.
• 슬라이스드 워셔스타인 거리와 적대적 손실의 사용은 입자 식별자가 시간에 따라 추적되지 않더라도 정확한 분포 일치를 가능하게 한다.
• 측정 불확실성을 암묵적으로 고려하는 생성 모델을 학습함으로써 노이즈 및 잘린 관측치에 대한 강건성을 보여준다.
• 이론적 분석을 통해 연속된 표본 공간 가정 하에서 추론된 측도 값 역학과 진정한 역학 간의 워셔스타인 거리에서의 수렴을 증명한다.
• 측도 공간에서의 확률 측도를 대상으로 작동함으로써 고전적 점-회귀를 집합 수준의 동역학 추론으로 일반화하는 프레임워크를 제공한다.
• 실험 결과는 생성 모델이 분포 유사도 메트릭을 통해 높은 정밀도로 기저 확률적 역학을 재구성할 수 있음을 보여준다.