[논문 리뷰] Scalable Gradients for Stochastic Differential Equations

Xuechen Li, Ting‐Kam Leonard Wong외 2명|arXiv (Cornell University)|2020. 01. 05.

Model Reduction and Neural Networks참고 문헌 77인용 수 108

한 줄 요약

논문은 adjoint 민감도 방법을 확률적 미분방정식(SDE)으로 일반화하여 고차 적응적 해석기를 활용한 신경망 SDEs 및 잠재 SDE 모델의 메모리 효율적인 확장 가능 그래디언트 계산을 가능하게 한다.

ABSTRACT

The adjoint sensitivity method scalably computes gradients of solutions to ordinary differential equations. We generalize this method to stochastic differential equations, allowing time-efficient and constant-memory computation of gradients with high-order adaptive solvers. Specifically, we derive a stochastic differential equation whose solution is the gradient, a memory-efficient algorithm for caching noise, and conditions under which numerical solutions converge. In addition, we combine our method with gradient-based stochastic variational inference for latent stochastic differential equations. We use our method to fit stochastic dynamics defined by neural networks, achieving competitive performance on a 50-dimensional motion capture dataset.

연구 동기 및 목표

• SDE에 대한 ODE 어드몬트 외 경향의 확장 가능한 그래디언트 계산 동기 부여.
• 역방향 동역학을 갖는 Stratonovich SDE에 어드몬트 민감도 프레임워크 확장.
• 경로를 저장하지 않고 forward 노이즈를 재생하는 메모리 효율 기법 개발.
• 불규칙한 관찰이 있는 잠재 SDE 모델에 대한 그래디언트 기반 추론 및 학습 가능성.
• 고차원 확률적 동역학 태스크에서 경쟁력 있는 성능 시연

제안 방법

• ODE에서 SDE로의 adjoint sensitivity 방법 일반화하여 backward Stratonovich SDE를 사용해 그래디언트를 계산한다.
• 역방향 동역학을 통해 Z_T에 대한 그래디언트를 얻는 해를 가지는 stochastic adjoint 프로세스를 유도한다.
• 모든 노이즈 실현을 저장하지 않으면서 단일 난수 시드를 사용해 forward-path 노이즈를 조회하는 알고리즘을 제안한다.
• 잠재 SDE에 대한 그래디언트 기반 확률적 변분 추론과 stochastic adjoint를 통합한다.
• 역방향 그래디언트 계산에서 고차 적응적 시간 스텝 SDE 해석기를 사용할 수 있도록 허용한다

실험 결과

연구 질문

• RQ1 어떤 방식으로 adjoint sensitivity 방법을 확률적 동역학으로 확장해 메모리를 상수로 유지한 채 효율적으로 그래디언트를 계산할 수 있는가?
• RQ2 그래디언트 계산을 위해 forward 경로를 올바르게 재구성하는 역방향 동역학(Stratonovich/SDE 형식)은 무엇인가?
• RQ3 완전한 경로를 저장하지 않고도 포워드 노이즈를 재생하면서 정확한 그래디언트를 유지할 수 있는 방법은 무엇인가?
• RQ4 제안된 stochastic adjoint 프레임워크를 잠재 SDE에 대한 변분 추론과 결합할 수 있는가?
• RQ5 해당 접근법이 irregularly sampled 데이터와 높은 차원의 신경 SDE에 대해 확장 가능한가?

주요 결과

방법	메모리	시간
Forward pathwise [89, 22]	O(1)	O(LD)
Backprop through solver [19]	O(L)	O(L)
Stochastic adjoint (ours)	O(1)	O(L log L)

• 확률적 어드모트 방법은 다른 기준 대비 일정한 메모리 사용과 O(L log L) 시간을 달성한다.
• 역방향 Stratonovich SDE 프레임워크는 확률적 동역학에 대한 올바른 그래디언트 재구성을 제공한다.
• 단일 난수 시드를 사용한 efficient noise-caching 메커니즘은 정확한 그래디언트를 가능하게 한다.
• 이 방법은 SDE를 위한 고차 적응적 해법기를 지원하여 신경 SDE의 확장 가능한 학습을 가능하게 한다.
• 그래디언트 기반 변분 추론과 결합될 때, 잠재 SDE에 대해 데이터 세트 전반에서 경쟁력 있는 성능을 보인다.
• 시연에는 50차원의 모션 캡처 동역학이 포함된다