[논문 리뷰] Dissecting Neural ODEs

Stefano Massaroli, Michael Poli외 3명|arXiv (Cornell University)|2020. 02. 19.

Model Reduction and Neural Networks참고 문헌 48인용 수 80

한 줄 요약

이 논문은 신경 ODE에 대한 시스템 이론적 분석을 제시하고, 무한 차원 깊이 분산 형식을 도입하며, Galerkin 및 쌓은(discretized) discretizations와 데이터-제어 및 적응 깊이 패러다임을 제안하여 증가가 아닌 augmentation을 넘어 표현력과 효율성을 향상시킨다.

ABSTRACT

Continuous deep learning architectures have recently re-emerged as Neural Ordinary Differential Equations (Neural ODEs). This infinite-depth approach theoretically bridges the gap between deep learning and dynamical systems, offering a novel perspective. However, deciphering the inner working of these models is still an open challenge, as most applications apply them as generic black-box modules. In this work we "open the box", further developing the continuous-depth formulation with the aim of clarifying the influence of several design choices on the underlying dynamics.

연구 동기 및 목표

• 연속 깊이 Neural ODE를 시스템 관점에서 분석하고 학습시킬 수 있는 방법을 명확히 한다.
• ANODE를 넘어 증강을 일반화하고 데이터-제어 및 적응 깊이를 도입하여 과도한 매개변수 없이 복잡한 매핑을 학습한다.
• 무한 차원 최적화를 실용적 유한 차원 근사(스펙트럴 및 깊이 이산화)와 연결한다.
• 깊이 가변 및 데이터 조건적 역학이 반사 및 동심 원형 둘레처럼 태스크의 표현력과 효율성에 어떤 영향을 미치는지 보여준다.

제안 방법

• 상태 z, 입력 x, 매개변수 함수 θ(s)와 함께 일반적인 Neural ODE 정의를 제시한다.
• 연속 깊이에서의 그래디언트 계산을 위한 일반화된 어조 방법(adjoints)을 도출하고 대응하는 dℓ/dθ(s) 식을 제공한다.
• θ(s) ∈ L2(S → Rnθ)인 경우의 무한 차원 그래디언트를 개발하고 이 설정에서의 어조 기반 그래디언트를 도출한다.
• 유한 차원 근사로서 Galerkin Neural ODE(스펙트럴 이산화)와 Stacked Neural ODE(깊이 이산화)를 도입한다.
• 매개변수 효율성과 성능을 개선하기 위한 입력층 증강 및 고차 증강을 제안한다.
• 벡터장을 입력 데이터 x로 조건화하여 데이터 제어 Neural ODE를 정의하고 벡터장 계열을 가능하게 한다.
• 샘플별 적분 깊이를 결정하는 하이퍼네트워크 gω(x)에 의해 적응적 깊이 Neural ODE를 도입한다.

실험 결과

연구 질문

• RQ1 깊이 변화 매개변수 및 비증강 전략의 효과를 밝히기 위해 Neural ODE를 어떻게 분석할 수 있는가?
• RQ2 스펙트럴(Galerkin) 및 조각-상수(스택형) 깊이 가변 형식이 더 적은 매개변수나 함수 평가로 정확한 해를 달성할 수 있는가?
• RQ3 입력층 증강, 고차 증강 등 ANODE를 넘어서는 증강 전략이 이미지 분류 작업의 성능과 효율성을 개선하는가?
• RQ4 데이터 제어 및 적응 깊이 패러다임의 이점과 한계는 증강 없이 복잡한 매핑을 학습하는 데 무엇인가?

주요 결과

변형	데이터셋	테스트 정확도	NFE	매개변수[K]
NODE	MNIST	96.8	98	21.4
NODE	CIFAR	58.9	93	37.1
ANODE	MNIST	98.9	71	20.4
ANODE	CIFAR	70.8	169	35.0
IL-NODE	MNIST	99.1	44	20.7
IL-NODE	CIFAR	73.4	65	36.1
2nd-Ord.	MNIST	99.2	59	20.0
2nd-Ord.	CIFAR	72.8	43	34.6

• 깊이 가변 Neural ODE(갈레킨 및 스택형 변형)는 깊이varying 매개변수로 학습을 가능하게 하고 신경망의 진정한 깊은 한계로의 경로를 제공한다.
• 입력층 증강 및 고차 역학과 같은 증강 변형은 MNIST 및 CIFAR 비교에서 작업 성능을 개선하고 함수 평가 수(NFE)를 줄인다.
• 데이터 제어 Neural ODE는 벡터장을 입력 데이터에 조건화하여 벡터장 계열과 조건부 정규화 흐름을 학습할 수 있게 한다.
• 적응 깊이 Neural ODE는 샘플별 적분 깊이를 할당하는 하이퍼네트워크를 사용하여 증강 없이도 반사와 같은 매핑을 학습할 수 있게 한다.
• 실험에서 IL-NODE와 2차 증강은 MNIST 및 CIFAR 데이터셋에서 정확도와 NFEs 간의 바람직한 트레이드오프를 자주 보여준다.