[논문 리뷰] Continuous-in-Depth Neural Networks

Alejandro F. Queiruga, N. Benjamin Erichson외 2명|arXiv (Cornell University)|2020. 08. 05.

Advanced Neural Network Applications참고 문헌 89인용 수 26

한 줄 요약

이 논문은 연속적인 깊이를 가진 신경망 아키텍처인 ContinuousNet을 소개한다. 이는 룬게쿠타 방법과 같은 고차수 수치적 적분기법에 잔차망을 통합함으로써 깊이 및 적분 방법에 대해 불변성을 가지게 하여, 수치적 안정성과 부드러움을 활용함으로써 정확도를 유지하면서 학습 효율성과 추론 속도를 향상시킨다. 이는 깊이 증가를 점진적으로 수행하고 모델 압축을 통해 달성된다.

ABSTRACT

Recent work has attempted to interpret residual networks (ResNets) as one step of a forward Euler discretization of an ordinary differential equation, focusing mainly on syntactic algebraic similarities between the two systems. Discrete dynamical integrators of continuous dynamical systems, however, have a much richer structure. We first show that ResNets fail to be meaningful dynamical integrators in this richer sense. We then demonstrate that neural network models can learn to represent continuous dynamical systems, with this richer structure and properties, by embedding them into higher-order numerical integration schemes, such as the Runge Kutta schemes. Based on these insights, we introduce ContinuousNet as a continuous-in-depth generalization of ResNet architectures. ContinuousNets exhibit an invariance to the particular computational graph manifestation. That is, the continuous-in-depth model can be evaluated with different discrete time step sizes, which changes the number of layers, and different numerical integration schemes, which changes the graph connectivity. We show that this can be used to develop an incremental-in-depth training scheme that improves model quality, while significantly decreasing training time. We also show that, once trained, the number of units in the computational graph can even be decreased, for faster inference with little-to-no accuracy drop.

연구 동기 및 목표

• 연속적인 동역학계의 의미 있는 수치적 적분기로서 ResNets의 한계를 해결하기 위해.
• 계산 그래프 표현에 대해 불변인 신경망 아키텍처를 개발하여 깊이 및 적분 방법 선택의 유연성을 확보하기 위해.
• 재학습 없이 깊이 증가 학습과 모델 압축을 통해 학습 효율성과 추론 속도를 향상시키기 위해.
• 깊이 학습과 수치적 적분 이론 사이에 원칙적인 연결 고리를 구축하여 표면적인 대수적 유사성을 넘어서기 위해.
• 고차수 적분기법으로부터 유도된 인덕티브 바이어스를 통해 강건하고 일반화 가능한 모델을 가능하게 하기 위해.

제안 방법

• 잔차망을 고차수 수치적 적분 기법(예: 명시적 룬게쿠타 방법)에 통합하여, 모델이 연속적인 동역학계의 진짜 수치적 적분기로 작동하도록 보장하기 위해.
• ContinuousNet을 ResNets의 연속적인 깊이 일반화로 정의하며, 네트워크를 수치적 적분에 의해 근사된 연속적인 궤적으로 해석하기 위해.
• 메쉬 정밀도 조절을 통해 학습 중에 네트워크 깊이를 증가시키고 추론 시에 줄일 수 있도록 하여 재학습 없이도 가능하게 하기 위해.
• 표현 불변성 활용: 동일한 학습된 연속적인 동역학은 다양한 시간 간격과 적분 방법으로 평가될 수 있음.
• 조각별 상수 기저 함수를 사용하여 표준 ResNet 동작을 복원하면서도 고차수 방법으로의 일반화를 가능하게 하기 위해.
• 수치 해석 도구를 활용하여 안정성과 부드러움을 확보함으로써, 하이퍼파rameter 선택 및 분포 이탈에 대한 강건성을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 ResNet의 잔차 유닛은 수치 적분에서 어떤 방식으로 전진 오일러 단계에 대응하는가? 이 대응관계는 의미 있는 동역학계 해석을 위해 충분한가?
• RQ2 룬게쿠타 방법과 같은 고차수 수치적 적분기법은 딥 네트워크를 연속적인 동역학계로 더 정확하고 안정적으로 해석할 수 있는가?
• RQ3 고차수 적분기법에 네트워크를 통합하면 강건성, 일반화 및 학습 효율성이 향상되는가?
• RQ4 연속적인 깊이 모델은 성능 손실 없이 점진적으로 학습하고 추론 시에 압축될 수 있는가?
• RQ5 깊이 및 적분 방법에 대해 불변인 표현 불변성은 학습 및 구현의 유연성을 어떻게 향상시키는가?

주요 결과

• ContinuousNet 모델은 표현 불변성을 보이며, 재학습 없이도 다양한 시간 간격과 적분 방법으로 평가 가능하다.
• 학습 중에 네트워크 깊이를 점진적으로 증가시킬 수 있어 수렴 속도 향상과 학습 시간 단축에 기여한다.
• 학습 후 단위 수를 줄여 정확도 저하 최소화로 빠른 추론을 가능하게 하며, 효율적인 배포를 지원한다.
• ContinuousNets는 표준 ResNets와 유사한 테스트 정확도를 달성하면서도 하이퍼파rameter 선택 및 분포 이탈에 더 강건하다.
• 룬게쿠타와 같은 고차수 적분기법은 전진 오일러 기반 모델보다 더 강력한 인덕티브 바이어스를 제공하여 학습 안정성과 일반화 성능을 향상시킨다.
• 이 프레임워크는 효율적인 하이퍼파ram터 탐색이 가능하며, 양자화 및 압축에 적합하여 엣지 배포 잠재력이 매우 높다.