[논문 리뷰] HourNAS: Extremely Fast Neural Architecture Search Through an Hourglass Lens

Zhaohui Yang, Yunhe Wang외 7명|arXiv (Cornell University)|2020. 05. 29.

Advanced Neural Network Applications참고 문헌 53인용 수 7

한 줄 요약

HourNAS는 시계열 구조를 모방한 이단계 검색을 통해 정보 흐름과 정확도에 핵심적인 영향을 미치는 '필수 블록'을 식별함으로써 매우 빠른 신경망 아키텍처 탐색 방법을 제안한다. 비필수 블록의 탐색 공간을 계산 자원 제약 하에 제약함으로써 필수 블록을 우선순위에 두고, 단일 GPU를 사용해 3시간 만에 ImageNet에서 77.0%의 Top-1 정확도를 달성하며, 기존 최고 수준의 방법들보다 빠르고 정확도 면에서 뛰어나다.

ABSTRACT

Neural Architecture Search (NAS) refers to automatically design the architecture. We propose an hourglass-inspired approach (HourNAS) for this problem that is motivated by the fact that the effects of the architecture often proceed from the vital few blocks. Acting like the narrow neck of an hourglass, vital blocks in the guaranteed path from the input to the output of a deep neural network restrict the information flow and influence the network accuracy. The other blocks occupy the major volume of the network and determine the overall network complexity, corresponding to the bulbs of an hourglass. To achieve an extremely fast NAS while preserving the high accuracy, we propose to identify the vital blocks and make them the priority in the architecture search. The search space of those non-vital blocks is further shrunk to only cover the candidates that are affordable under the computational resource constraints. Experimental results on the ImageNet show that only using 3 hours (0.1 days) with one GPU, our HourNAS can search an architecture that achieves a 77.0% Top-1 accuracy, which outperforms the state-of-the-art methods.

연구 동기 및 목표

• ImageNet과 같은 대규모 데이터셋에서 신경망 아키텍처 탐색(NAS)의 높은 계산 비용을 해결하기 위해.
• 가장 영향력 있는 네트워크 블록을 식별하고 우선순위를 부여함으로써 정확도를 유지하면서도 탐색 효율성을 향상시키기 위해.
• 필수 블록과 비필수 블록을 구분함으로써 계산 자원을 보다 효과적으로 할당하는 탐색 프레임워크를 개발하기 위해.
• 기존 최고 수준의 방법들을 뛰어넘는 성능을 달성하면서도 최소한의 자원 소비로 ImageNet에서 직접적인 NAS를 가능하게 하기 위해.

제안 방법

• 이 방법은 이단계 검색 전략을 도입하여 입력에서 출력에 이르는 모든 경로에 포함되는 '필수' 블록을 먼저 식별한다. 이는 시계열의 '목'과 같은 역할을 한다.
• 자원 제약 하에서 필수 블록을 먼저 최적화하여 정확도에 미치는 영향을 극대화한다.
• 비필수 블록의 탐색 공간을 나머지 계산 예산 내에서 구현 가능한 후보들로만 단순화한다.
• 사전 정의된 FLOPs 및 파라미터 제약 조건 하에서 유망한 아키텍처를 생성하고 평가하기 위해 공간 제안 방법을 사용한다.
• SuperNet에서 아키텍처 파라미터를 효율적으로 샘플링하기 위해 Gumbel-Max 샘플링을 활용하여 검색 비용을 줄이면서도 성능를 유지한다.
• 공유 가중치와 아키텍처 파라미터를 갖는 가변 가능 탐색 프레임워크를 사용하여 종단 간 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 네트워크 내에서 가장 핵심적인 블록을 식별하고 우선순위를 부여함으로써 신경망 아키텍처 탐색을 상당히 가속화할 수 있는가?
• RQ2 필수 블록과 비필수 블록 간의 자원 할당 전략이 탐색 효율성과 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ3 비필수 블록에 대해 제약된 탐색 공간을 적용하더라도 여전히 고성능 아키텍처를 도출할 수 있는가? 이는 검색 시간을 극적으로 줄일 수 있는가?
• RQ4 가변 가능 NAS 환경에서 Gumbel-Softmax에 비해 Gumbel-Max 샘플링이 검색 효율성을 향상시키는가?
• RQ5 이 프레임워크를 사용해 3시간 이내에 ImageNet에서 직접적인 NAS를 수행하면서도 경쟁 가능한 정확도를 확보할 수 있는가?

주요 결과

• HourNAS는 단일 GPU를 사용해 3시간(0.1 GPU 일)의 학습 시간으로 ImageNet에서 77.0%의 Top-1 정확도를 달성하며, 기존 최고 수준의 방법들을 뛰어넘는다.
• 표준 이단계 검색 대비 검색 시간을 9배 줄였고, 자원 제약을 통합할 경우 72배까지 감소시켰다.
• 필수 블록 우선순위 부여 전략을 적용했을 때, FBNet 및 EfficientNet 탐색 공간에서 각각 0.9%, 0.6%의 정확도 향상을 기록했다.
• Gumbel-Max 샘플링을 사용함으로써 검색 비용을 1 GPU 일로 줄였고, Gumbel-Softmax 대비 0.1% 높은 Top-1 정확도를 달성했다.
• 아키텍처 HourNAS-EfficientNetSS-F는 유사한 FLOPs와 파라미터 수를 갖는 EfficientNet-B0를 0.2% 높은 Top-1 정확도로 뛰어넘었다.
• 필수 블록 우선순위 부여 전략을 사용하지 않을 경우 검색 과정이 2배 느려지며(6시간 소요) 이는 필수 블록 우선순위 부여가 효율성과 성능에 핵심적인 영향을 미친다는 것을 확인한다.