[論文レビュー] On The Verification of Neural ODEs with Stochastic Guarantees

Sophie Gruenbacher, Ramin Hasani+4 more|arXiv (Cornell University)|Dec 16, 2020

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、到達可能性をグローバル最適化問題として定式化する、ニューラルODEのための新しい検証フレームワークであるStochastic Lagrangian Reachability (SLR) を提案する。一様サンプリング、区間算術で計算されたリプシッツ定数に基づく安全制限を備えた局所的勾配降下、および前向きモードアドジョイント法を組み合わせることで、スラッキング効果を回避し、収束性と保守性が保証されたタイトな楕円体過近似に対する確率的保証を提供する。

ABSTRACT

We show that Neural ODEs, an emerging class of time-continuous neural networks, can be verified by solving a set of global-optimization problems. For this purpose, we introduce Stochastic Lagrangian Reachability (SLR), an abstraction-based technique for constructing a tight Reachtube (an over-approximation of the set of reachable states over a given time-horizon), and provide stochastic guarantees in the form of confidence intervals for the Reachtube bounds. SLR inherently avoids the infamous wrapping effect (accumulation of over-approximation errors) by performing local optimization steps to expand safe regions instead of repeatedly forward-propagating them as is done by deterministic reachability methods. To enable fast local optimizations, we introduce a novel forward-mode adjoint sensitivity method to compute gradients without the need for backpropagation. Finally, we establish asymptotic and non-asymptotic convergence rates for SLR.

研究の動機と目的

• 安全性が求められる応用分野におけるニューラルODEのスケーラブルな検証手法の不足に対処すること。
• 時間経過に伴い精度が低下する、決定論的到達可能性手法に内在するスラッキング効果を克服すること。
• ニューラルODEにおける到達状態の確率的でタイトかつ保守的な過近似を提供すること。
• バックプロパゲーションを必要としない、ニューラルODEにおける最適化のための効率的な勾配計算を可能にすること。
• 検証フレームワークの理論的収束性と安全性保証を確立すること。

提案手法

• 各時刻ステップにおいて、ニューラルODEの到達可能性問題をグローバル最適化タスクに再定式化する。
• 初期球からの一様サンプリングと局所的勾配降下を用い、ヘッセ行列の計算を回避してグローバル最小値を特定する。
• 事前にサンプリングされた状態の周囲に球面キャップ（安全領域）を適用し、区間算術による局所的リプシッツ定数から導かれる半径を用いる。
• バックプロパゲーションを不要とする、新規の前向きモードアドジョイント感度法を採用し、勾配計算を効率化する。
• 信頼区間を備えた一連のタイトな楕円体として、到達可能領域の過近似（Reachtube）を構築する。
• 反復的精錬：初期の安全半径を大きく設定し、不安全領域を避けるまで減少させることで、所望の信頼水準を満たす。

実験結果

リサーチクエスチョン

• RQ1 スラッキング効果を回避し、確率的保証を提供するフレームワークを用いて、ニューラルODEを検証可能か？
• RQ2 グローバル最適化と局所的勾配降下を効率的に組み合わせることで、到達集合のタイトな過近似を構築できるか？
• RQ3 確率的信頼区間を考慮した場合の、ニューラルODEの確率的到達可能性手法の収束速度はいかほどか？
• RQ4 前向きモードアドジョイント法は、ニューラルODE最適化における勾配計算の効率を向上させられるか？
• RQ5 スケーラブルかつ理論的に保守的な検証フレームワークを、ニューラルODEのために設計可能か？

主な発見

• SLRは、与えられた信頼水準γに対して、収束率𝒪(−ln γ (δ₀/r_bound)²ⁿ) の反復回数でタイトな楕円体的安全領域に収束する。
• フレームワークは確率的保証を提供する：計算されたReachtubeは信頼度1−γで保守的であり、不確実性下でも安全性を保証する。
• スラッキング効果を回避するため、繰り返しの前方伝搬ではなく、局所的最適化と安全キャップを用いる。
• 前向きモードアドジョイント法により、𝒪(L×T)の時間計算量と各層あたり定数メモリで効率的な勾配計算が可能となり、バックプロパゲーションに基づく手法を凌駆する。
• グローバルな区間算術を避けており、局所的かつ有界な計算に依存しているため、大規模なニューラルODEへもスケーラブルに拡張可能である。
• 理論的分析により、ニューラルODEの真の到達集合の確率的保証付き楕円体抽象化を構築する問題は、決定可能であることが示された。