[논문 리뷰] Deterministic particle flows for constraining stochastic nonlinear systems

Dimitra Maoutsa, Manfred Opper|arXiv (Cornell University)|2021. 12. 10.

Gene Regulatory Network Analysis참고 문헌 109인용 수 6

한 줄 요약

이 논문은 다양한 제약 조건 하에서 비선형 확률적 시스템의 최적 제어를 계산하기 위한 반복적이지 않고 결정적인 입자 흐름 방법을 제안한다. 상호작용하는 입자를 통해 전방 확률 흐름의 로그 기울기를 추정함으로써 경로 샘플링 없이 정확한 드리프트 조정을 도출하며, 종단, 일시적 또는 집단 상태 제약 조건이 있는 고차원 생물 모델에서 효율적이고 정확한 간섭을 가능하게 한다.

ABSTRACT

Devising optimal interventions for constraining stochastic systems is a challenging endeavour that has to confront the interplay between randomness and nonlinearity. Existing methods for identifying the necessary dynamical adjustments resort either to space discretising solutions of ensuing partial differential equations, or to iterative stochastic path sampling schemes. Yet, both approaches become computationally demanding for increasing system dimension. Here, we propose a generally applicable and practically feasible non-iterative methodology for obtaining optimal dynamical interventions for diffusive nonlinear systems. We estimate the necessary controls from an interacting particle approximation to the logarithmic gradient of two forward probability flows evolved following deterministic particle dynamics. Applied to several biologically inspired models, we show that our method provides the necessary optimal controls in settings with terminal-, transient-, or generalised collective-state constraints and arbitrary system dynamics.

연구 동기 및 목표

• 복잡한 제약 조건 하에서 비선형 확률적 시스템을 제약하는 최소한의 교란을 설계하는 데 도전하는 것.
• 고차원 시스템에서 전통적인 PDE 이산화 및 반복적인 확률적 경로 샘플링의 계산적 한계를 극복하는 것.
• 종단, 일시적 및 일반화된 집단 상태 제약 조건 하에서 최적 제어를 위한 일반 목적의 방법을 개발하는 것.
• 반복적인 확률적 샘플링이나 공간 이산화된 PDE 해법기에 의존하지 않고 실용적인 샘플 기반 제어 설계를 가능하게 하는 것.

제안 방법

• 최적 제어 문제를 두 개의 전방 Fokker-Planck 방정식을 포함하는 문제로 재구성하며, 그 해는 필터링 밀도와 예측 밀도를 나타낸다.
• 확률 흐름을 전파하기 위해 결정적인 입자 역학을 사용하여 확률적 경로 샘플링을 피한다.
• 상호작용하는 입자 근사법을 사용하여 전방 흐름 간의 밀도 비율의 로그 기울기를 추정한다.
• 기계 학습에서 유래한 변분 추론 기법을 활용해 로그 기울기를 효율적으로 근사한다.
• 시간 반전 SDE 이론을 활용하여 두 전방 확률 흐름 비율의 로그 기울기를 최적 제어 드리프트로 도출한다.
• 반복 없이 단일 패assing 내에 필요한 제어 입력을 계산하기 위해 결정적인 입자 흐름 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 반복적이지 않고 결정적인 입자 기반 방법이 복잡한 제약 조건 하에서 비선형 확률적 시스템의 최적 제어를 달성할 수 있는가?
• RQ2 경로 샘플링 없이 두 전방 확률 흐름 비율의 로그 기울기를 어떻게 효율적으로 추정할 수 있는가?
• RQ3 이 방법이 고차원 시스템에서 반복적 확률적 샘플링 또는 PDE 이산화보다 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 이 방법은 종단, 일시적 및 일반화된 집단 상태 제약 조건을 포함한 다양한 유형의 제약 조건을 처리할 수 있는가?
• RQ5 이 방법은 내재적 및 외부 노이즈가 존재하는 생물학적으로 관련성이 있는 비선형 모델에서 안정적이고 정확한가?

주요 결과

• 이 방법은 반복적 샘플링 없이 종단, 일시적 및 일반화된 집단 상태 제약 조건 하에서 비선형 확산 시스템의 최적 제어를 성공적으로 계산한다.
• 결정적인 입자 흐름 접근법은 경로 적분 또는 PDE 기반 방법 대비 상당히 감소된 계산 비용으로 정확한 제어 설계를 달성한다.
• 이 방법은 두 전방 확률 흐름의 로그 기울기로 최적 드리프트의 정확한 해석적 표현을 제공한다.
• 생물학적으로 영감을 얻은 모델에 대한 실험 결과는, 이 방법이 복잡한 제약 조건을 충족시키면서도 최소한의 간섭 강도를 유지함을 보여준다.
• 이 방법은 확률적 경로 샘플링과 관련된 불안정성과 높은 분산을 피하여 고차원 시스템에서 신뢰할 수 있는 제어를 가능하게 한다.
• 이 프레임워크는 일반적이며 비선형 드리프트 및 확산 계수를 갖는 시스템 동역학에 대해 적용 가능하다.