[논문 리뷰] EcoNAS: Finding Proxies for Economical Neural Architecture Search

Dongzhan Zhou, Xinchi Zhou외 5명|arXiv (Cornell University)|2020. 01. 05.

Advanced Neural Network Applications참고 문헌 35인용 수 10

한 줄 요약

EcoNAS는 신뢰할 수 있는 계산 비용을 줄인 설정을 사용하여 프록시 평가와 정확도 평가 간의 순위 일致성을 유지함으로써 진화적 신경망 아키텍처 탐색(NAS)을 가속화하는 계층적 프록시 전략을 제안한다. 유망한 아키텍처에는 더 비싼 프록시를 할당하고, 유망하지 않은 아키텍처는 조기에 폐기함으로써 EcoNAS는 검색 시간을 400배(8 vs. 3150 GPU 일) 단축시키면서도 최신 기법과 비교할 만한 성능을 달성한다.

ABSTRACT

Neural Architecture Search (NAS) achieves significant progress in many computer vision tasks. While many methods have been proposed to improve the efficiency of NAS, the search progress is still laborious because training and evaluating plausible architectures over large search space is time-consuming. Assessing network candidates under a proxy (i.e., computationally reduced setting) thus becomes inevitable. In this paper, we observe that most existing proxies exhibit different behaviors in maintaining the rank consistency among network candidates. In particular, some proxies can be more reliable -- the rank of candidates does not differ much comparing their reduced setting performance and final performance. In this paper, we systematically investigate some widely adopted reduction factors and report our observations. Inspired by these observations, we present a reliable proxy and further formulate a hierarchical proxy strategy. The strategy spends more computations on candidate networks that are potentially more accurate, while discards unpromising ones in early stage with a fast proxy. This leads to an economical evolutionary-based NAS (EcoNAS), which achieves an impressive 400x search time reduction in comparison to the evolutionary-based state of the art (8 vs. 3150 GPU days). Some new proxies led by our observations can also be applied to accelerate other NAS methods while still able to discover good candidate networks with performance matching those found by previous proxy strategies.

연구 동기 및 목표

• 큰 검색 공간에서 신경망 아키텍처 탐색(NAS)의 높은 계산 비용을 해결하기 위해.
• 채널 수, 해상도, 에포크 수, 샘플 비율 등의 일반적인 감소 요인들이 프록시 평가와 정확도 평가 간의 순위 일치성을 유지하는 데 얼마나 신뢰할 수 있는지 조사하기 위해.
• 유망한 아키텍처에는 더 많은 계산을 할당하고, 유망하지 않은 아키텍처는 조기에 폐기하는 계층적 프록시 전략을 개발하기 위해.
• 매우 낮은 GPU 일 수요로 효율적이고 고성능의 NAS를 가능하게 하기 위해.

제안 방법

• CIFAR-10과 ImageNet에서 채널 너비(c), 입력 해상도(r), 학습 에포크 수(e), 샘플 비율(s)의 네 가지 감소 요인을 체계적으로 평가한다.
• 채널 수와 입력 해상도를 줄이고 전체 학습 샘플을 사용할 경우, 더 높은 순위 일치성을 보이는 더 안정적인 프록시를 확보함을 밝힌다.
• 계층적 프록시 전략을 제안한다: 낮은 에포크 수를 사용하는 빠른 프록시(예: 낮은 에포크 수)를 사용해 유망하지 않은 네트워크를 조기에 걸러내고, 상위 후보자들에 대해서는 더 비싼 프록시(예: 전체 에포크 수)를 적용한다.
• 진화적 NAS 프레임워크 내에서 전략을 적용하며, 네트워크를 단계별로 학습(20, 40, 60 에포크)하고 각 단계에서 상위 모델들만 다음 단계로 진행한다.
• 프록시 설정과 전체 설정 간에 일관된 학습 설정을 유지하며, 감소된 설정에서는 컷아웃 길이를 조정하고 경로 드롭아웃을 제외하여 프록시의 정밀도를 향상시킨다.
• 아키텍처 간 프록시 성능 순위와 전체 정확도 순위 간 일치성을 측정하기 위해 스피어만의 순위 상관계수(ρ)를 사용한다.

실험 결과

연구 질문

• RQ1 c, r, e, s와 같은 다양한 감소 요인이 NAS에서 프록시 성능과 정확도 성능 간의 순위 일치성에 어떻게 영향을 미치는가?
• RQ2 다양한 검색 공간에서 아키텍처 순위를 유지하는 데 가장 안정적인 감소 요인 조합은 무엇인가?
• RQ3 계층적 프록시 전략이 최종 정확도를 희생시키지 않고 검색 시간을 크게 줄일 수 있는가?
• RQ4 기존의 프록시 전략과 비교했을 때, 제안된 프록시는 효율성과 성능 면에서 어떻게 다른가?

주요 결과

• 더 많은 학습 샘플을 사용하면서 학습 에포크 수를 줄이는 것이, 적은 샘플로 더 많은 에포크를 실행하는 것보다 더 높은 순위 일치성을 제공한다.
• 입력 해상도를 줄이는 것보다 네트워크 채널 수를 줄이는 것이 프록시 평가에서 순위 일치성을 유지하는 데 더 안정적이다.
• 감소된 채널 수와 해상도를 사용하고 전체 학습 샘플을 활용하는 제안된 안정적인 프록시는 높은 순위 일치성을 달성하며, 진화적 및 기울기 기반 NAS 방법 모두를 가속화하는 데 적용할 수 있다.
• EcoNAS의 계층적 프록시 전략은 기존 최고 수준의 진화적 NAS에서 3150 GPU 일에서 8 GPU 일로 검색 시간을 400배 단축시켰다.
• CIFAR-10과 ImageNet에서 최종으로 탐색된 아키텍처는 이전 방법으로 발견된 아키텍처와 비교해 유사한 성능을 달성하여 프록시 전략의 효과성을 확인한다.
• 유망하지 않은 아키텍처에 대해 전체 학습을 수행하지 않도록 하기 위해 빠른 프록시로 조기 걸러내기와 상위 후보자에게 더 비싼 프록시를 적용하는 전략이 계산량을 크게 줄였다.