[논문 리뷰] Convolutional Neural Networks combined with Runge-Kutta Methods

Mai Zhu, Bo Chang외 1명|arXiv (Cornell University)|2018. 02. 24.

Model Reduction and Neural Networks참고 문헌 36인용 수 31

한 줄 요약

이 논문은 전기적 활성화 ResNet을 단순히 옐러 기반 역학으로 보는 것 외에 고차수 룬게-쿠타(Runge–Kutta) 방법으로 재해석하는 Runge–Kutta 컨volution 신경망(RKCNNs)을 제안한다. 고차수 IRK 방법의 은닉 방정식을 네트워크 아키텍처 내에서 직접 근사화함으로써 추론 중 반복적 솔버가 필요 없도록 하여, 상태최고 수준의 정확도를 달성하면서도 FLOPs와 파라미터 수를 크게 줄였다. 이는 MNIST, SVHN, CIFAR 벤치마크에서 ODE 기반 모델과 ResNet을 모두 능가한다.

ABSTRACT

A convolutional neural network can be constructed using numerical methods for solving dynamical systems, since the forward pass of the network can be regarded as a trajectory of a dynamical system. However, existing models based on numerical solvers cannot avoid the iterations of implicit methods, which makes the models inefficient at inference time. In this paper, we reinterpret the pre-activation Residual Networks (ResNets) and their variants from the dynamical systems view. We consider that the iterations of implicit Runge-Kutta methods are fused into the training of these models. Moreover, we propose a novel approach to constructing network models based on high-order Runge-Kutta methods in order to achieve higher efficiency. Our proposed models are referred to as the Runge-Kutta Convolutional Neural Networks (RKCNNs). The RKCNNs are evaluated on multiple benchmark datasets. The experimental results show that RKCNNs are vastly superior to other dynamical system network models: they achieve higher accuracy with much fewer resources. They also expand the family of network models based on numerical methods for dynamical systems.

연구 동기 및 목표

• 추론 중 반복적 은닉 솔버에 의존하는 기존 ODE 기반 신경망의 비효율성을 해결하기 위해.
• 전기적 활성화 ResNet 및 그 변종을 단순히 옐러 기반 역학으로 보는 것이 아니라 고차수 룬게-쿠타 방법의 근사치로 재해석하기 위해.
• 반복적 해법 단계 없이도 은닉 룬게-쿠타 방법의 안정성과 정확도를 활용하는 새로운 신경망 클래스—RKCNNs—를 개발하기 위해.
• 최신 ODE 기반 모델과 표준 ResNet보다 더 높은 정확도와 더 낮은 계산 비용을 달성하기 위해.

제안 방법

• 전기적 활성화 ResNet의 잔차 블록을 단순히 전진 옐러가 아닌 고차수 룬게-쿠타 방법의 시간단계 증분 근사치로 재해석하기 위해.
• 은닉 룬게-쿠타(IRK) 방법의 은닉 방정식을 신경망을 통해 직접 근사화하여 추론 중 뉴턴 유사 반복 솔버가 필요 없도록 하기 위해.
• RKCNN-E(명시적 RK), RKCNN-I(은닉 RK), RKCNN-R(Rosenbrock 유형)의 세 가지 변종을 설계하여 각각 다른 스테이지와 채널 구성으로 구성하기 위해.
• 전체 네트워크를 엔드 투 엔드로 훈련하여, 잔차 매핑이 계수와 도함수 평가를 포함한 전체 RK 방법 증분을 근사하도록 하기 위해.
• 이전 연구에서 ODE 우변만 근사하는 것 외에, 단일 신경망을 사용해 전체 RK 방법 공식을 근사하기 위해.
• RK 방법의 구조를 네트워크 아키텍처에 통합하여, 순전파가 선택된 RK 스킴의 단계와 가중치를 자연스럽게 따르도록 하기 위해.

실험 결과

연구 질문

• RQ1 전기적 활성화 ResNet을 단순히 일阶 옐러 방법이 아닌 고차수 룬게-쿠타 방법으로 의미 있게 재해석할 수 있는가?
• RQ2 고차수 룬게-쿠타 방법의 은닉 방정식을 신경망이 효과적으로 근사하여 추론 중 반복적 솔버를 제거할 수 있는가?
• RQ3 룬게-쿠타 방법을 기반으로 한 신경망 아키텍처가 기존 ODE 기반 모델과 표준 ResNet보다 더 높은 정확도와 더 낮은 FLOPs를 달성할 수 있는가?
• RQ4 다양한 유형의 룬게-쿠타 방법(명시적, 은닉, 로젠브룩형)이 이미지 분류를 위한 CNN에 통합되었을 때 성능은 어떻게 되는가?

주요 결과

• RKCNNs는 경쟁 모델보다 훨씬 적은 파라미터와 FLOPs로 MNIST, SVHN, CIFAR-10에서 최고 수준의 정확도를 달성한다.
• CIFAR-100에서 RKCNN-R는 테스트 오차 17.00% (±0.42)를 기록하여, 전기적 활성화 ResNet과 DenseNet을 포함한 모든 경쟁 모델을 능가한다.
• RKCNN-I와 RKCNN-R는 RKCNN-E 및 다른 ODE 기반 모델보다 낮은 테스트 오차를 기록하여, 은닉 및 로젠브룩형 방법의 우수성을 입증한다.
• RKCNNs의 파라미터와 FLOPs는 DenseNet과 CliqueNet과 같은 최신 모델의 약 10%에 불과하여 매우 높은 효율성을 보인다.
• 최고 성능을 내는 RKCNNs는 스테이지당 80~180개의 채널과 5~6개의 스테이지를 사용하며, 더 깊고 넓은 구성이 성능 향상에 기여함을 보여준다.
• 제안된 방법은 추론 중 반복적 은닉 솔버 단계를 제거하여 이전 ODE 기반 네트워크보다 훨씬 빠르고 메모리 효율적인 성능을 발휘한다.