[논문 리뷰] Neural SDE: Stabilizing Neural ODE Networks with Stochastic Noise

Xuanqing Liu, Tesi Xiao외 4명|arXiv (Cornell University)|2019. 06. 05.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 89

한 줄 요약

논문은 Neural SDE를 제시한다. 이는 Neural ODE의 확장으로, 노이즈(예: 드롭아웃, 가우시안)를 주입하여 연속 네트워크를 규제하고 안정화시켜 일반화 및 적대적/비적대적 섭동에 대한 견고성을 향상시킨다.

ABSTRACT

Neural Ordinary Differential Equation (Neural ODE) has been proposed as a continuous approximation to the ResNet architecture. Some commonly used regularization mechanisms in discrete neural networks (e.g. dropout, Gaussian noise) are missing in current Neural ODE networks. In this paper, we propose a new continuous neural network framework called Neural Stochastic Differential Equation (Neural SDE) network, which naturally incorporates various commonly used regularization mechanisms based on random noise injection. Our framework can model various types of noise injection frequently used in discrete networks for regularization purpose, such as dropout and additive/multiplicative noise in each block. We provide theoretical analysis explaining the improved robustness of Neural SDE models against input perturbations/adversarial attacks. Furthermore, we demonstrate that the Neural SDE network can achieve better generalization than the Neural ODE and is more resistant to adversarial and non-adversarial input perturbations.

연구 동기 및 목표

• 연속 프레임워크에서 확률적 노이즈를 도입하여 Neural ODE의 규제 부족 문제를 동기 부여하고 해결한다.
• 연속 동역학 설정 내에서 일반적인 규제 기법(드롭아웃, 가우시안 노이즈)을 구현할 수 있는 Neural SDE 모델을 개발한다.
• 경로 기반 기울기와 확률적 제어 개념을 활용하여 Neural SDE를 학습하기 위한 확장 가능한 역전파 방법을 도출한다.
• 확률성은 동적 시스템을 안정화하고 섭동에 대한 견고성을 향상시킬 수 있음을 이론적으로 분석한다.
• Neural SDE가 CIFAR-10, STL-10, Tiny-ImageNet 데이터셋에서 일반화 및 견고성을 개선한다는 것을 실험적으로 검증한다.

제안 방법

• 신경 다이내믹스를 확률적 미분방정식(SDE)으로 형식화한다: dh_t = f(h_t,t;w) dt + G(h_t,t;v) dB_t 여기서 B_t는 브라운 운동이다.
• 확산 항 G(h_t,t;v)의 적절한 선택을 통해 다양한 노이즈 유형(덧셈적, 곱셈적, 드롭아웃 유사)을 모델링한다.
• 경로 기반 기울기에 기초한 역전파 방법을 개발하고, h_{t1}의 ∂/∂w를 효율적으로 계산하기 위해 SDE를 따르는 보조 변수 β_t를 도입한다.
• 확률적 라이노프 방법을 사용한 안정성 분석을 통해 적절하게 설계된 확산이 섭동을 안정화할 수 있음을 보인다.
• 피처 추출기와 분류기 사이에 Neural SDE 모듈이 위치하도록 하는 실용적 아키텍처를 개략적으로 제시하며, 이를 드롭인 규제 구성요소로 작동시킨다.

실험 결과

연구 질문

• RQ1 뉴럴 ODE에 확률적 노이즈를 주입하는 것이 드롭아웃, 가우시안 노이즈와 같은 이산적 규제 기법과 유사하게 일반화를 향상시키는가?
• RQ2 표준 규제 형태(드롭아웃, 덧셈/곱셈 노이즈)를 신경망의 연속 SDE 동역학으로 어떻게 매핑할 수 있는가?
• RQ3 Neural SDE 이론이 섭동과 적대적 공격에 대한 견고성 향상을 설명하는 안정성 보장을 제공하는가?
• RQ4 Neural ODE 학습과 비교할 수 있는 확장 가능하고 메모리 효율이 높은 경사 방법을 고안할 수 있는가?
• RQ5 Neural SDE가 표준 비전 벤치마크에서 정확도와 견고성에 measurably gains를 제공하는가?

주요 결과

• Neural SDE는 연속 시간 프레임워크 내에서 일반적인 규제 전략들(드롭아웃, 덧셈/곱셈 가우시안 노이즈)을 재현할 수 있다.
• 경로 기반 기울기 방법은 Neural SDE를 학습하기 위한 편향되지 않은 추정치를 제공하며, 메모리 사용량이 줄어드는 방식으로(Neural ODE의 adjoint 방법과 비슷) 학습한다.
• 이론적 안정성 분석은 적절히 설계된 확산 항이 입력 섭동에 대한 시스템의 견고함을 만들 수 있음을 보여주며, 경우에 따라 거의 확실하게 지수적으로 안정적인 섭동을 유도한다.
• 실험 결과는 CIFAR-10, STL-10 및 Tiny-ImageNet에서 Neural ODE에 비해 일반화가 향상되며, 예를 들어 CIFAR-10 정확도는 81.63%(ODE)에서 테스트 시 TTN이 포함된 Neural SDE로 최대 84.55%까지 상승하는 등 이득이 나타난다.
• Neural SDE는 비적대적 섭 corruption 및 적대적 섭동에 대한 견고성도 향상시키며, 여러 공격 및 오염 설정에서 Neural ODE보다 더우수한 성능을 보인다.