[논문 리뷰] On The Verification of Neural ODEs with Stochastic Guarantees

Sophie Gruenbacher, Ramin Hasani외 4명|arXiv (Cornell University)|2020. 12. 16.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 신경 미분방정식(Neural ODEs)을 위한 새로운 검증 프레임워크인 Stochastic Lagrangian Reachability(SLR)를 소개한다. SLR는 도달 가능성을 전역 최적화 문제로 공식화하며, 균일 샘플링, 간격 산술로 계산된 리프시츠 상수를 기반으로 한 국소 기울기 하강법과 안전성 캡(safety caps)을 결합하고, 전방 모드 애드조인트 방법을 사용하여 감싸는 효과(wrapping effect)를 피하고, 수렴성과 보수성(conservativeness)이 입증된 타당한 타원체 과추정(ellipsoidal over-approximations)에 대해 확률적 보장을 제공한다.

ABSTRACT

We show that Neural ODEs, an emerging class of time-continuous neural networks, can be verified by solving a set of global-optimization problems. For this purpose, we introduce Stochastic Lagrangian Reachability (SLR), an abstraction-based technique for constructing a tight Reachtube (an over-approximation of the set of reachable states over a given time-horizon), and provide stochastic guarantees in the form of confidence intervals for the Reachtube bounds. SLR inherently avoids the infamous wrapping effect (accumulation of over-approximation errors) by performing local optimization steps to expand safe regions instead of repeatedly forward-propagating them as is done by deterministic reachability methods. To enable fast local optimizations, we introduce a novel forward-mode adjoint sensitivity method to compute gradients without the need for backpropagation. Finally, we establish asymptotic and non-asymptotic convergence rates for SLR.

연구 동기 및 목표

• 안전 기반 응용 분야에서 신경 미분방정식의 확장 가능한 검증 방법의 부족을 해결하기 위해.
• 시간이 지남에 따라 정확도가 떨어지는 결정론적 도달 가능성 방법에 내재된 감싸는 효과를 극복하기 위해.
• 신경 미분방정식의 도달 가능한 상태에 대해 확률적이고 타당하며 보수적인 과추정을 제공하기 위해.
• 백프로파게이션을 사용하지 않고도 신경 미분방정식의 최적화를 위한 효율적인 기울기 계산을 가능하게 하기 위해.
• 검증 프레임워크에 대해 이론적 수렴성과 안전성 보장을 수립하기 위해.

제안 방법

• 각 시간 단계에서 신경 미분방정식의 도달 가능성 문제를 전역 최적화 과제로 재구성한다.
• 초기 구내에서 균일 샘플링을 수행하고, 국소 기울기 하강법을 사용하여 전역 최소값을 찾으며, 헤시안 행렬 계산을 피한다.
• 이전에 샘플된 상태 주변에 구형 캡(spherical-caps, 안전 영역)을 적용하며, 이들의 반지름은 간격 산술을 통해 계산된 국소 리프시츠 상수에서 유도된다.
• 백프로파게이션의 필요성을 제거하기 위해, 새로운 전방 모드 애드조인트 감도 방법을 사용하여 기울기를 효율적으로 계산한다.
• 수신 영역(Reachtube)을 타당한 타원체의 시퀀스로 구성하며, 이는 신뢰구간을 포함한다.
• 반복적 정밀화: 더 큰 안전 반경으로 시작하여, 수신 영역이 위험 영역을 피할 수 있도록 반경을 줄여가며, 원하는 신뢰 수준을 확보한다.

실험 결과

연구 질문

• RQ1 감싸는 효과를 피하고 확률적 보장을 제공하는 프레임워크를 통해 신경 미분방정식을 검증할 수 있는가?
• RQ2 전역 최적화와 국소 기울기 하강법을 효율적으로 조합하여 도달 가능한 집합의 타당한 과추정을 어떻게 구성할 수 있는가?
• RQ3 확률적 신뢰구간 하에서 신경 미분방정식에 대한 확률적 도달 가능성 방법의 수렴 속도는 어떠한가?
• RQ4 전방 모드 애드조인트 방법은 신경 미분방정식 최적화에서 기울기 계산의 효율성을 어떻게 향상시킬 수 있는가?
• RQ5 확장 가능하고 증명 가능한 보수성을 갖춘 신경 미분방정식 검증 프레임워크를 설계할 수 있는가?

주요 결과

• SLR는 주어진 신뢰 수준 γ에 대해 수렴 속도가 𝒪(−ln γ (δ₀/r_bound)²ⁿ)인 반복 횟수로 타당한 타원체 안전 영역으로 수렴한다.
• 이 프레임워크는 확률적 보장을 제공한다: 계산된 Reachtube는 1−γ의 신뢰 수준에서 보수적이며, 불확실성 하에서도 안전성을 보장한다.
• 감싸는 효과를 피하기 위해 전방 전파를 반복적으로 사용하는 대신 국소 최적화와 안전 캡을 사용함으로써 SLR는 감싸는 효과를 회피한다.
• 전방 모드 애드조인트 방법은 𝒪(L×T)의 시간 복잡도와 각 레이어당 일정한 메모리 사용량을 통해 기울기 계산을 효율적으로 수행하며, 백프로파게이션 기반 방법보다 향상된다.
• 전역 간격 산술의 사용을 피하고 국소적이고 유계된 계산에 의존함으로써, SLR는 대규모 신경 미분방정식으로도 확장 가능하다.
• 이론적 분석 결과, 신경 미분방정식의 진짜 수신 영역에 대해 확률적으로 보장된 타원체 추상화를 구성하는 문제는 결정 가능하다.