[논문 리뷰] Finding Better Topologies for Deep Convolutional Neural Networks by Evolution

Honglei Zhang, Serkan Kıranyaz외 1명|arXiv (Cornell University)|2018. 09. 10.

Advanced Neural Network Applications참고 문헌 24인용 수 18

한 줄 요약

이 논문은 제한된 계산 자원으로 최적의 딥 컨volution 신경망(CNN) 구조를 효율적으로 탐색하기 위해 지식 유전과 학습을 활용하는 진화 알고리즘을 제안한다. CIFAR-10에서 CNN 아키텍처를 진화시켜, 더 적은 층 수로도 Residual Networks를 능가하는 구조를 발견하였으며, 소스에서 싱크까지의 짧은 거리와 최적의 그래프 밀도와 같은 핵심 구조 원리를 드러냈다.

ABSTRACT

Due to the nonlinearity of artificial neural networks, designing topologies for deep convolutional neural networks (CNN) is a challenging task and often only heuristic approach, such as trial and error, can be applied. An evolutionary algorithm can solve optimization problems where the fitness landscape is unknown. However, evolutionary algorithms are computing resource intensive, which makes it difficult for problems when deep CNNs are involved. In this paper, we propose an evolutionary strategy to find better topologies for deep CNNs. Incorporating the concept of knowledge inheritance and knowledge learning, our evolutionary algorithm can be executed with limited computing resources. We applied the proposed algorithm in finding effective topologies of deep CNNs for the image classification task using CIFAR-10 dataset. After the evolution, we analyzed the topologies that performed well for this task. Our studies verify the techniques that have been commonly used in human designed deep CNNs. We also discovered that some of the graph properties greatly affect the system performance. We applied the guidelines learned from the evolution and designed new network topologies that outperform Residual Net with less layers on CIFAR-10, CIFAR-100, and SVHN dataset.

연구 동기 및 목표

• 이론적 도구의 부족과 높은 비선형성으로 인해 최적의 딥 CNN 아키텍처를 설계하는 데 어려움이 존재하므로 이를 해결하고자 한다.
• 학습을 가속화하기 위해 지식 유전과 지식 학습을 도입하여 딥 CNN을 진화시키는 데 드는 계산 부담을 줄이고자 한다.
• 높은 성능을 보이는 딥 CNN에서 관련이 있는 구조적 패턴과 그래프 성질을 규명하고자 한다.
• 진화된 아키텍처에서 유도된 설계 지침을 표준 벤치마크에서 검증하고자 한다.
• 진화된 아키텍처가 더 적은 층 수로도 Residual Networks를 초월하는 정확도를 달성할 수 있음을 입증하고자 한다.

제안 방법

• 일반적인 진화 전략을 사용하며, 부모 네트워크에 다섯 가지 정의된 변형 중 하나를 적용하여 자식 네트워크를 생성한다.
• 볼츠만 분포 기반의 확률적 순위 비례 선택을 통해 다음 세대의 개체를 선별한다.
• 지식 유전을 통해 각 새로운 개체가 부모로부터 학습 초깃값과 하이퍼파라미터를 유전함으로써 학습 시간을 단축시킨다.
• 성능 피드백에 기반해 동적으로 학습 하이퍼파라미터(예: 초기 학습률)를 조정하는 지식 학습을 적용한다.
• 자원을 절약하기 위해 각 네트워크는 오직 한 에포크 동안만 훈련되며, 계산을 제한하기 위해 조기 정지 기법을 사용한다.
• 각 네트워크는 방향 그래프로 표현되며, 최단 경로, 밀도, 연결성과 같은 그래프 성질을 분석한다.

실험 결과

연구 질문

• RQ1 딥 CNN 아키텍처의 어떤 구조적 성질이 높은 분류 정확도와 가장 강하게 상관되는가?
• RQ2 진화 알고리즘이 인간이 설계한 모델보다 더 적은 층 수로 더 나은 성능을 내는 CNN 아키텍처를 발견할 수 있는가?
• RQ3 최단 경로와 연결성과 같은 그래프 이론적 성질이 딥 CNN 성능에 어떻게 영향을 미치는가?
• RQ4 지식 유전과 학습을 통해 딥 CNN을 진화시키는 데 드는 계산 비용을 얼마나 줄일 수 있는가?
• RQ5 진화된 아키텍처에서 유도된 원칙을 활용해 새로운 더 효율적인 네트워크를 설계할 수 있는가?

주요 결과

• 진화된 아키텍처 EVO-91b는 CIFAR-10에서 테스트 오차율 5.19%를 기록하여, 층 수가 더 많은 ResNet-110(6.43%)을 능가했다.
• 소스 노드에서 싱크 노드까지의 최단 경로가 짧은 네트워크일수록 일관되게 뛰어난 성능을 보였으며, EVO-91b는 가장 낮은 오차율을 기록했다.
• 최적의 그래프 밀도와 강한 연결성이 성능 향상에 결정적인 역할을 했으며, EVO-44b와 EVO-91b는 깊이가 다름에도 불구하고 높은 성능을 보였다.
• 일반적으로 사용되는 기법들인 스키프 커넥션과 잔여 학습이 진화적으로 유리한 것으로 확인되어 그 효과성을 검증했다.
• 진화된 아키텍처에서 도출된 설계 지침을 바탕으로 새롭게 설계된 네트워크는 CIFAR-10, CIFAR-100, SVHN에서 Residual Networks를 뛰어넘는 성능을 보였으며, 깊이가 감소했다.
• DenseNet-100은 높은 그래프 밀도를 지녔지만 최단 경로가 6으로, 높은 성능을 보이는 진화된 네트워크에서 관찰된 최적의 경로 길이와 일치했다.