[논문 리뷰] Optimization Algorithm Inspired Deep Neural Network Structure Design

Huan Li, Yibo Yang외 2명|arXiv (Cornell University)|2018. 10. 03.

Advanced Neural Network Applications참고 문헌 32인용 수 11

한 줄 요약

이 논문은 최적화 알고리즘에 영감을 받아 새로운 딥 네ural 네트워크 구조 설계 프레임워크를 제안하며, 공유된 선형 변환을 가진 피드포워드 네트워크가 경사하강법을 모방함을 보이고, 이를 더 빠른 방법들인 헤비볼(Heavy Ball) 및 네스테로프 가속 경사하강법으로 대체함으로써 성능 향상을 이룬다. 결과적으로 도출된 HB-Net 및 AGD-Net 아키텍처는 CIFAR-10, CIFAR-100 및 ImageNet에서 ResNet 및 DenseNet을 능가하며, 더 낮은 오차율과 더 안정적인 학습을 보이며, 특히 깊이가 깊어질수록 유의미한 성능 향상을 보인다.

ABSTRACT

Deep neural networks have been one of the dominant machine learning approaches in recent years. Several new network structures are proposed and have better performance than the traditional feedforward neural network structure. Representative ones include the skip connection structure in ResNet and the dense connection structure in DenseNet. However, it still lacks a unified guidance for the neural network structure design. In this paper, we propose the hypothesis that the neural network structure design can be inspired by optimization algorithms and a faster optimization algorithm may lead to a better neural network structure. Specifically, we prove that the propagation in the feedforward neural network with the same linear transformation in different layers is equivalent to minimizing some function using the gradient descent algorithm. Based on this observation, we replace the gradient descent algorithm with the heavy ball algorithm and Nesterov's accelerated gradient descent algorithm, which are faster and inspire us to design new and better network structures. ResNet and DenseNet can be considered as two special cases of our framework. Numerical experiments on CIFAR-10, CIFAR-100 and ImageNet verify the advantage of our optimization algorithm inspired structures over ResNet and DenseNet.

연구 동기 및 목표

• 최적화 알고리즘의 동역학에 기반하여 딥 네럴 네트워크 아키텍처의 통합 설계 원칙을 수립하기 위해.
• 더 빠른 최적화 알고리즘이 더 나은 성능을 보이는 신경망 아키텍처를 유도할 수 있는지 조사하기 위해.
• 표준 피드포워드 네트워크와 함수 최소화를 위한 경사하강법 간의 형식적 동치성을 정식화하기 위해.
• 경사하강법을 가속 최적화 방법으로 대체하여 새로운 네트워크 아키텍처인 HB-Net 및 AGD-Net을 개발하기 위해.
• 표준 벤치마크(예: CIFAR-10, CIFAR-100, ImageNet)에서 제안된 프레임워크를 검증하고, 향상된 성능과 학습 안정성을 입증하기 위해.

제안 방법

• 모든 층에서 동일한 선형 변환을 가지는 피드포워드 네트워크가 손실 함수 최소화를 위한 경사하강법 수행과 수학적으로 동치임을 증명하기 위해.
• 표준 경사하강법을 더 빠른 최적화 알고리즘인 헤비볼 방법 및 네스테로프의 가속 경사하강법으로 대체하기 위해.
• 각 층을 헤비볼 또는 가속 경사 알고리즘의 단계로 모델링하여 새로운 네트워크 아키텍처인 HB-Net 및 AGD-Net을 설계하기 위해.
• 재귀적 구조와 스킵 연결을 조정함으로써 기존의 ResNet 및 DenseNet 아키텍처를 특수 케이스로 일반화하기 위해.
• 정확한 비교를 위해 표준 학습 프로토콜(SGD에 Nesterov 모멘타임, 가중치 감소, Xavier 초기화)을 사용하여 모델을 구현하기 위해.
• 기준 모델(ResNet 및 DenseNet)과 동일한 초모수 및 학습 스케줄을 사용하여 아키텍처 설계의 영향을 고립시키기 위해.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크 아키텍처의 설계는 최적화 알고리즘의 원칙에 의해 체계적으로 이끌릴 수 있는가?
• RQ2 공유된 가중치를 가진 표준 피드포워드 네트워크와 고전적 경사하강법 간에 형식적 동치성이 존재하는가?
• RQ3 헤비볼 및 네스테로프 방법과 같은 더 빠른 최적화 알고리즘이 더 나은 성능을 보이는 신경망 아키텍처를 유도하는가?
• RQ4 결과적으로 도출된 아키텍처(HB-Net 및 AGD-Net)는 정확도와 학습 안정성 측면에서 ResNet 및 DenseNet을 능가하는가?
• RQ5 제안된 프레임워크는 더 깊은 네트워크와 더 큰 규모의 데이터셋인 ImageNet에 일반화되는가?

주요 결과

• HB-Net 및 AGD-Net은 CIFAR-10 및 CIFAR-100에서 ResNet 및 DenseNet보다 낮은 오차율을 기록하며, L=52일 때 AGD-Net은 CIFAR-100에서 상위-1 오차율을 0.3% 감소시켰다.
• L=52일 때 CIFAR-100에서 AGD-Net은 23.84%의 오차율을 기록하여 DenseNet(24.33%)을 능가했으며, 0.49% 향상된 성능을 보였다.
• 깊이 110(n=18)인 HB-Net은 CIFAR-10에서 8.66%의 오차율을 기록하여 ResNet-110(9.17%)을 능가했으며, 0.51% 향상된 성능을 보였다.
• HB-Net은 뛰어난 학습 안정성을 보였다: 깊이 110에서도 표준 학습 전략으로 안정적으로 수렴했으며, 반면 ResNet-110는 웜업 및 반복적인 학습 시도가 필요했다.
• ImageNet에서 AGD-Net-121은 상위-1 오차율 24.62%를 기록하여 DenseNet-121(25.02%)을 능가했고, HB-Net-34는 상위-1 오차율 26.33%를 기록하여 ResNet-34(26.73%)를 초월했다.
• 제안된 프레임워크는 ResNet 및 DenseNet을 특수 케이스로 성공적으로 일반화하여 이론적 기반과 아키텍처의 유연성을 검증했다.