[논문 리뷰] Fast Neural Architecture Construction using EnvelopeNets

Purushotham Kamath, Abhishek Singh외 1명|arXiv (Cornell University)|2018. 03. 18.

Advanced Neural Network Applications참고 문헌 41인용 수 7

한 줄 요약

이 논문은 필터 특성맵 통계를 초기 학습 단계에서 활용하여 도구를 제거하고 확장하는 데 도움을 주는 EnvelopeNets를 사용하여 빠른 신경망 아키텍처 구축(NAC)을 제안한다. 이 방법은 전체 학습 주기 없이도 성능을 빠르게 평가할 수 있도록 하여, 한 GPU 일 이내에 최신 기술 수준의 정확도를 달성하며, 수동으로 설계하거나 무작위로 생성된 유사한 크기의 네트워크를 능가한다.

ABSTRACT

Fast Neural Architecture Construction (NAC) is a method to construct deep network architectures by pruning and expansion of a base network. In recent years, several automated search methods for neural network architectures have been proposed using methods such as evolutionary algorithms and reinforcement learning. These methods use a single scalar objective function (usually accuracy) that is evaluated after a full training and evaluation cycle. In contrast NAC directly compares the utility of different filters using statistics derived from filter featuremaps reach a state where the utility of different filters within a network can be compared and hence can be used to construct networks. The training epochs needed for filters within a network to reach this state is much less than the training epochs needed for the accuracy of a network to stabilize. NAC exploits this finding to construct convolutional neural nets (CNNs) with close to state of the art accuracy, in < 1 GPU day, faster than most of the current neural architecture search methods. The constructed networks show close to state of the art performance on the image classification problem on well known datasets (CIFAR-10, ImageNet) and consistently show better performance than hand constructed and randomly generated networks of the same depth, operators and approximately the same number of parameters.

연구 동기 및 목표

• 각 후보 아키텍처에 대해 전체 학습 주기를 요구하는 신경망 아키텍처 탐색(NAS) 방법의 높은 계산 비용을 해결한다.
• 탐색 중에 아키텍처를 비교하기 전에 네트워크 정확도가 수렴하는 데 기다리는 데서 오는 병목 현상을 해결한다.
• 전체 학습 평가에 의존하지 않고도 신속한 히우리스틱 기반 아키텍처 구축을 가능하게 하는 방법을 개발한다.
• 초기 단계의 필터 특성맵 통계를 활용하여 필터의 유용성을 추정하고 아키텍처 진화를 이끌어내는 데 사용한다.
• 유의미한 검색 시간을 단축하면서도 최신 기술 수준의 정확도를 달성하거나 초월하는 고성능 CNN을 구축한다.

제안 방법

• 스테이지드 디pth, 채널 확장, 특성맵 다운샘플링과 같은 알려진 설계 원칙을 사용하여 과잉 자원을 할당한 초기 아키텍처인 EnvelopeNet을 구축한다.
• 각 필터의 출력에서 특성맵 통계를 수집하기 위해 EnvelopeNet을 제한된 에포크 수로 학습시킨다.
• 이 통계를 사용하여 필터 유용성 점수를 계산하고, 전체 정확도 수렴을 기다리지 않고도 필터 중요도를 조기에 비교할 수 있도록 한다.
• 유용성 점수에 기반하여 낮은 유용성의 필터를 반복적으로 제거하여 중복성과 복잡성을 줄인다.
• 유용성 지표와 아키텍처 사전 지식에 따라 성능이 열악한 레이어에 새로운 필터나 경로를 추가하여 확장한다.
• 신경 회로의 연결을 제거하여 시냅스 절단을 통합함으로써 생물학적 신경 회로의 절단을 모방한다.

실험 결과

연구 질문

• RQ1 초기 학습 단계의 특성맵 통계에서 유용성이 신뢰성 있게 추정될 수 있는가? 이는 전체 수렴 전에 정확한 아키텍처 결정을 가능하게 하는가?
• RQ2 초기 필터 유용성 추정을 사용하면 전체 학습 기반 NAS 방법에 비해 고성능 CNN을 구축하는 데 필요한 시간을 상당히 줄일 수 있는가?
• RQ3 제안된 NAC 방법과 함께 EnvelopeNets를 사용하면 수동으로 설계하거나 무작위로 생성된 유사한 깊이와 파rameter 수를 가진 네트워크를 능가할 수 있는가?
• RQ4 특성맵 통계에 기반한 반복적 도구 제거 및 확장 과정은 전통적인 NAS 방법에 비해 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ5 네트워크 크기가 증가함에 따라 성능 저하 정도는 어느 정도인가? 특히 매우 넓거나 깊은 구성에서의 성능 저하는 어떤가?

주요 결과

• 초기 학습 단계의 특성맵 통계에서 추정한 필터의 유용성은 네트워크 정확도보다 훨씬 빨리 안정화되어, 정확도 수렴을 기다리지 않고도 조기에 신뢰할 수 있는 아키텍처 결정을 가능하게 한다.
• EnvelopeNets를 사용한 NAC 방법은 CIFAR-10과 ImageNet에서 한 GPU 일 이내에 최신 기술 수준의 정확도를 달성하며, 대부분의 기존 NAS 방법보다 빠른 속도를 보인다.
• 구축된 네트워크는 유사한 깊이, 연산 유형, 파라미터 수를 가진 수동 설계 및 무작위 생성 네트워크보다 일관되게 뛰어난 성능을 달성한다.
• 이 방법은 전체 학습 주기를 요구하지 않고도 특성맵 통계를 통한 초기 필터 유용성 추정이 효과적인 도구 제거와 확장을 가능하게 함을 보여준다.
• 네트워크 크기가 커질수록 성능 향상의 수익 감소 현상이 나타나며, 특히 매우 넓거나 깊은 구성에서는 성능 향상이 주로 아키텍처적 요소에 의해 결정되며, 파라미터 수 증가에 의한 영향은 작다는 것을 시사한다.
• 도구 제거 및 확장 과정은 신경 발생, 세포 사멸, 시냅스 절단을 포함한 생물학적 신경 가소성과 유사하여, 효율적인 아키텍처 구축을 위한 생물학적 영감을 받은 설계 원칙임을 시사한다.