[논문 리뷰] On Robustness of Neural Ordinary Differential Equations

Hanshu Yan, Jiawei Du외 2명|arXiv (Cornell University)|2019. 10. 12.

Model Reduction and Neural Networks참고 문헌 34인용 수 39

한 줄 요약

경험적으로 ODENets가 Gaussian 노이즈 및 적대적 교란에 대해 CNN보다 더 강인함을 보였으며, 안정적-시간 불변 신경 미분 방정식(TisODE)을 도입해 강인성을 추가로 높이고, MNIST, SVHN, ImgNet10 데이터셋에서의 결과를 제시한다.

ABSTRACT

Neural ordinary differential equations (ODEs) have been attracting increasing attention in various research domains recently. There have been some works studying optimization issues and approximation capabilities of neural ODEs, but their robustness is still yet unclear. In this work, we fill this important gap by exploring robustness properties of neural ODEs both empirically and theoretically. We first present an empirical study on the robustness of the neural ODE-based networks (ODENets) by exposing them to inputs with various types of perturbations and subsequently investigating the changes of the corresponding outputs. In contrast to conventional convolutional neural networks (CNNs), we find that the ODENets are more robust against both random Gaussian perturbations and adversarial attack examples. We then provide an insightful understanding of this phenomenon by exploiting a certain desirable property of the flow of a continuous-time ODE, namely that integral curves are non-intersecting. Our work suggests that, due to their intrinsic robustness, it is promising to use neural ODEs as a basic block for building robust deep network models. To further enhance the robustness of vanilla neural ODEs, we propose the time-invariant steady neural ODE (TisODE), which regularizes the flow on perturbed data via the time-invariant property and the imposition of a steady-state constraint. We show that the TisODE method outperforms vanilla neural ODEs and also can work in conjunction with other state-of-the-art architectural methods to build more robust deep networks.

연구 동기 및 목표

• 신경 ODE 기반 네트워크(ODENets)의 Gaussian 노이즈 및 적대적 교란에 대한 강인성 평가.
• 다수의 데이터셋(MNIST, SVHN, ImgNet10)에서 ODENets와 기존 CNN 간의 비교.
• 연속 시간 ODE의 흐름 특성을 통해 ODENets의 고유 강인성 속성 이해.
• 시간 불변성 및 정상 상태 제약을 바탕으로 강인성 향상 확장(TisODE)을 제안하고 평가한다.

제안 방법

• 모델 구조: ODENet은 특징 추출기, 신경 ODE 매핑기, 완전 연결 분류기로 구성되며 표준 데이터나 조 perturbed 데이터로 학습된다.
• 교란 강인성 평가: Gaussian 노이즈, FGSM 적대적 예시, PGD 적대적 예시를 사용하고 유사한 파라미터 수의 CNN과 비교한다.
• ODE 흐름의 비교절선성(non-intersecting integral curves) 특성을 활용한 경험적 분석으로 ODENet 강인성 설명(Theorem: ODENet integral curves do not intersect).
• 동역학의 시간 의존성을 제거하고 출력의 시간에 따른 드리프트를 제약하는 정상 상태 정규화 항 L_ss를 추가하여 시간 불변성 Steady Neural ODE(TisODE) 도입.
• perturbation에 대한 TisODE의 강인성을 평가하고 FDn, IR과 같은 다른 강인성 기술과의 호환성을 드롭인 모듈로서 검토한다.

실험 결과

연구 질문

• RQ1 ODENets가 Gaussian 교란 및 표준 비전 데이터셋에서의 적대적 공격에 대해 CNN보다 더 큰 강인성을 보이는가?
• RQ2 신경 ODE 흐름의 고유 속성(비교절선성 비선형 곡선)이 ODENets의 관찰된 강인성을 설명하는가?
• RQ3 시간 불변성 정상 상태 ODENet(TisODE)이 vanilla ODENet보다 추가적인 강인성을 제공하며 다른 강인성 기법을 보완할 수 있는가?

주요 결과

• ODENets가 MNIST, SVHN, ImgNet10에서 Gaussian 노이즈 및 FGSM/PGD 적대적 공격에 대해 CNN보다 더 강인함을 보인다.
• 강한 교란 하에서도 ODENets가 더 높은 정확도를 유지한다(예: MNIST Gaussian σ=100: 73.2% vs CNN 56.4%; FGSM-0.3: 42.1% vs 14.3%는 MNIST).
• ODE 흐름의 비교절선성(non-intersecting integral curves) 특성은 CNN에는 존재하지 않는 ODENets를 위한 고유 강인성 메커니즘을 제공한다.
• TisODE는 vanilla ODENet 대비 교란에 대해 강인성을 더욱 높이며 MNIST FGSM/PGD 공격과 SVHN/ImgNet10 테스트에서 뚜렷한 이점을 보인다.
• TisODE는 강인성 향상을 위한 다목적 드롭인으로 작동하며 특징 소음 제거 및 입력 무작위화 기법과 함께 추가 개선을 가져올 수 있다.
• TisODE를 FDn 또는 IRd와 결합하면 CNN이나 ODENet 단독 사용 대비 상당한 강인성 이점을 얻을 수 있다.