[논문 리뷰] Differentiating through Stochastic Differential Equations: A Primer

Rishi Leburu, Levon Nurbekyan외 1명|arXiv (Cornell University)|2026. 01. 13.

Risk and Portfolio Optimization인용 수 0

한 줄 요약

이 프라이머는 Itô 및 Stratonovich 역학에 대해 discretize-then-optimize와 optimize-then-discretize 두 가지 보완적인 방법을 통해 SDE를 미분하는 방법을 제시하며, 자세한 도출과 Black–Scholes 예시를 포함한다.

ABSTRACT

Dynamical systems are essential to model various phenomena in physics, finance, economics, and are also of current interest in machine learning. A central modeling task is investigating parameter sensitivity, whether tuning atmospheric coefficients, computing financial Greeks, or optimizing neural networks. These sensitivities are mathematically expressed as derivatives of an objective function with respect to parameters of interest and are rarely available analytically, necessitating numerical methods for approximating them. While the literature for differentiation of deterministic systems is well-covered, the treatment of stochastic systems, such as stochastic differential equations (SDEs), in most curricula is less comprehensive than the subtleties arising from the interplay of noise and discretization require. This paper provides a primer on numerical differentiation of SDEs organized as a two-tale narrative. Tale 1 demonstrates differentiating through discretized SDEs, known the discretize-optimize approach, is reliable for both Itô and Stratonovich calculus. Tale 2 examines the optimize-discretize approach, investigating the continuous limit of backward equations from Tale 1 corresponding to the desired gradients. Our aim is to equip readers with a clear guide on the numerical differentiation of SDEs: computing gradients correctly in both Itô and Stratonovich settings, understanding when discretize-optimize and optimize-discretize agree or diverge, and developing intuition for reasoning about stochastic differentiation beyond the cases explicitly covered.

연구 동기 및 목표

• 물리학, 금융, ML에서 민감도와 매개변수에 대한 확률적 동적계의 수치 미분의 필요성을 동기 부여한다.
• SDE를 미분할 때 잡음과 이산화가 야기하는 미묘한 차이를 명확히 한다.
• SDE 목적 함수의 기울기 계산 구현에 대한 접근하기 쉬운, 교실 친화적인 지침을 제공한다.
• 두 가지 내러티브 이야기로 결정론적 ODE 미분 기법을 확률적 설정으로 연결한다.

제안 방법

• Discretize-then-optimize: Itô의 Euler-Maruyama 또는 Stratonovich의 Heun 스킴으로 순방향 SDE를 이산화하고, 이산 목표를 자동 미분으로 미분한다.
• 경로별 기울기를 이산 목표를 초기 상태에 대해 미분하여 도출하고, 역방향(adj) 또는 순방향 미분을 가능하게 한다; Itô 및 Stratonovich의 역방향 재귀를 보여준다.
• 이산 보조항(adjoint)이 결정적 극한에서 연속 보조항으로 수렴함을 보이고, 상태 증강을 통해 실행 비용 및 추가 매개변수를 다루는 방법을 논의한다.
• Heun 이산화와 함께 Stratonovich-최적화 미분을 사용하여 올바른 연속 극한을 얻고 대응하는 이산 보조 재귀를 도출한다.
• SDE에서 매개변수 또는 실행 비용 누적기에 대한 민감도를 계산하기 위해 상태를 매개변수 또는 실행 비용 Y와 함께 확장한다.
• Black–Scholes 모델에서 이산 보조 기울기를 해석적 그릭스와 비교하고 수렴 거동을 관찰하여 수치적으로 검증한다.

실험 결과

연구 질문

• RQ1 Itô 및 Stratonovich 형식에 대해 이산화된 SDE 스킴을 통해 미분하면 SDE 목적의 기울기를 계산할 수 있는가?
• RQ2 시간 간격이 사라질 때 이산적 보조가 잘 정의된 연속 보조 프로세스로 수렴하는가, 그리고 이때 discretize-optimize와 optimize-discretize는 어떻게 비교되는가?
• RQ3 수치화 선택( Itô의 Euler-Maruyama 대 Stratonovich의 Heun)은 기울기 추정의 정확도와 수렴에 어떤 영향을 미치는가?
• RQ4 상태 증강과 역방향 보조를 통해 매개변수 및 실행 비용을 그래디언트 계산에 어떻게 포함시킬 수 있는가?

주요 결과

• Discretize-then-optimize는 경사들이 확률적 경로를 평균할 때 Itô와 Stratonovich SDE에 대해 정확한 기울기를 산출한다.
• Backward (adjoint) 재귀는 전체 야코비안 전파에 비해 계산 비용을 감소시켜 경로별 기울기 추정을 효율적으로 만든다.
• For Stratonovich SDEs, the Heun scheme provides a forward-compatible discretization that preserves Stratonovich limits and yields a tractable discrete adjoint.
• Numerical validation on Black–Scholes shows gradient error decreases with decreasing time step as O(sqrt(Δt)) in Euler-Maruyama discretization, with Monte Carlo noise causing plateaus at small Δt.
• Augmenting the state to include parameters or running costs allows simultaneous differentiation with respect to initial conditions and parameters (θ, running cost Y).
• The optimize-discretize approach is not generally unbiased for Itô SDEs due to non-smooth stochastic paths, but discretize-optimize remains a safe and direct method for obtaining the exact gradient of the discrete objective.