[논문 리뷰] Beyond Finite Layer Neural Networks: Bridging Deep Architectures and Numerical Differential Equations

Yiping Lu, Aoxiao Zhong외 2명|arXiv (Cornell University)|2017. 10. 27.

Model Reduction and Neural Networks참고 문헌 48인용 수 153

한 줄 요약

요지: 이 논문은 인기 있는 심층 네트워크 아키텍처를 ODE의 수치적 이산화와 연결하고, ResNet/ResNeXt에 적용된 선형 다중 스텝 LM-아키텍처를 도입하며, 파라미터 압축 가능성과 함께 성능 향상을 보여준다. 또한 확률적 학습을 확률적 동적 시스템으로 해석한다.

ABSTRACT

In our work, we bridge deep neural network design with numerical differential equations. We show that many effective networks, such as ResNet, PolyNet, FractalNet and RevNet, can be interpreted as different numerical discretizations of differential equations. This finding brings us a brand new perspective on the design of effective deep architectures. We can take advantage of the rich knowledge in numerical analysis to guide us in designing new and potentially more effective deep networks. As an example, we propose a linear multi-step architecture (LM-architecture) which is inspired by the linear multi-step method solving ordinary differential equations. The LM-architecture is an effective structure that can be used on any ResNet-like networks. In particular, we demonstrate that LM-ResNet and LM-ResNeXt (i.e. the networks obtained by applying the LM-architecture on ResNet and ResNeXt respectively) can achieve noticeably higher accuracy than ResNet and ResNeXt on both CIFAR and ImageNet with comparable numbers of trainable parameters. In particular, on both CIFAR and ImageNet, LM-ResNet/LM-ResNeXt can significantly compress ($>50$\%) the original networks while maintaining a similar performance. This can be explained mathematically using the concept of modified equation from numerical analysis. Last but not least, we also establish a connection between stochastic control and noise injection in the training process which helps to improve generalization of the networks. Furthermore, by relating stochastic training strategy with stochastic dynamic system, we can easily apply stochastic training to the networks with the LM-architecture. As an example, we introduced stochastic depth to LM-ResNet and achieve significant improvement over the original LM-ResNet on CIFAR10.

연구 동기 및 목표

• 깊은 네트의 설계 원칙을 미분방정식의 이산화와 연결해 동인 연구를 촉진한다.
• LM-아키텍처를 도입하고 ResNet/ResNeXt에 적용해 파라미터를 줄이면서 정확도를 향상시킨다.
• 수치 해석에서의 수정된 방정식과의 연관성을 통해 성능 향상 및 안정성을 설명한다.
• 확률적 학습 전략을 확률적 동적 시스템에 근거해 일반화 성능 향상을 도모한다.

제안 방법

• ResNet/ResNeXt 및 관련 네트워크를 u_t = f(u)의 수치 스킴(앞방향 오일러, 역방향 오일러, Runge-Kutta)으로 매핑한다.
• LM-아키텍처: u_{n+1} = (1 - k_n) u_n + k_n u_{n-1} + f(u_n)로 학습 가능한 k_n을 도입한다.
• LM-아키텍처를 ResNet/ResNeXt에 적용해 LM-ResNet/LM-ResNeXt를 구성하고 CIFAR 및 ImageNet에서 평가한다.
• 성능 향상과 안정성의 원인을 수정된 방정식 분석으로 설명한다.
• 확률적 학습 전략(노이즈 주입)을 확률적 동적 시스템의 근사로 설명하고 LM-아키텍처(확률적 깊이)로 확장한다.

실험 결과

연구 질문

• RQ1 깊은 네트워크 아키텍처를 미분방정식의 이산화로 해석할 수 있으며, 이 해석이 아키텍처 설계에 도움이 되는가?
• RQ2 LM-아키텍처가 CIFAR와 ImageNet에서 ResNet/ResNeXt의 성능 및 파라미터 효율성을 개선하는가?
• RQ3 수정된 방정식이 LM-아키텍처에서 관찰된 이점을 어떻게 설명하는가?
• RQ4 확률적 학습 전략을 확률적 동적 시스템으로 이해하고 LM-아키텍처에 이익을 주는가?

주요 결과

• LM-ResNet/LM-ResNeXt는 CIFAR 및 ImageNet에서 유사한 파라미터 수를 가진 ResNet/ResNeXt 대비 더 높은 정확도를 달성한다.
• CIFAR에서 LM-ResNet/LM-ResNeXt는 원래 네트워크를 크게 압축해도(>50%) 유사한 성능을 유지할 수 있다.
• CIFAR-10/CIFAR-100에서 LM-ResNet/LM-ResNeXt는 깊이에 따라 베이스라인 아키텍처 대비 뚜렷한 개선을 보인다.
• ImageNet에서 LM-ResNet50/ResNet50 및 LM-ResNet101/ResNet101은 파라미터 예산이 비슷한 수준에서 상위 정확도(예: LM-ResNet50 탑-1 23.8 vs ResNet50 24.7; LM-ResNet101 탑-1 22.6 vs ResNet101 23.6)를 달성한다.
• 확률적 깊이(depth) 및 확률적 노이즈 주입은 성능을 추가로 개선할 수 있으며, 확률적 동적 시스템 해석을 통해 LM-아키텍처에 자연스럽게 도입될 수 있다.
• 수정된 방정식 분석은 LM-구조 계수(k_n)가 학습된 동적 시스템의 가속 및 안정성에 어떻게 영향을 주는지 설명한다.