[논문 리뷰] GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet

Shan You, Tao Huang외 4명|arXiv (Cornell University)|2020. 03. 25.

Advanced Neural Network Applications참고 문헌 43인용 수 12

한 줄 요약

GreedyNAS는 거절 기반의 다중 경로 샘플링과 동적 후보 풀을 통해 약한 경로를 걸러내고 성능이 좋은 경로에 집중함으로써 초당 한 번의 신경망 아키텍처 탐색을 가속화하는 빠른 일회성 신경망 아키텍처 탐색 방법을 제안한다. 약한 경로를 걸러내고 높은 성능을 내는 경로를 활용함으로써, 이전 방법들보다 약 60%의 슈퍼넷 학습 비용으로 ImageNet에서 최신 기준 성능을 달성한다.

ABSTRACT

Training a supernet matters for one-shot neural architecture search (NAS) methods since it serves as a basic performance estimator for different architectures (paths). Current methods mainly hold the assumption that a supernet should give a reasonable ranking over all paths. They thus treat all paths equally, and spare much effort to train paths. However, it is harsh for a single supernet to evaluate accurately on such a huge-scale search space (e.g., $7^{21}$). In this paper, instead of covering all paths, we ease the burden of supernet by encouraging it to focus more on evaluation of those potentially-good ones, which are identified using a surrogate portion of validation data. Concretely, during training, we propose a multi-path sampling strategy with rejection, and greedily filter the weak paths. The training efficiency is thus boosted since the training space has been greedily shrunk from all paths to those potentially-good ones. Moreover, we further adopt an exploration and exploitation policy by introducing an empirical candidate path pool. Our proposed method GreedyNAS is easy-to-follow, and experimental results on ImageNet dataset indicate that it can achieve better Top-1 accuracy under same search space and FLOPs or latency level, but with only $\sim$60\% of supernet training cost. By searching on a larger space, our GreedyNAS can also obtain new state-of-the-art architectures.

연구 동기 및 목표

• 모든 경로에 대해 균일하게 학습하는 것을 방지함으로써 일회성 NAS에서 슈퍼넷 학습의 계산 비용을 줄이는 것.
• 모든 경로가 아니라 잠재적으로 우수한 아키텍처의 성능을 추정하는 데만 슈퍼넷을 집중시킴으로써 탐색 효율성을 향상시키는 것.
• 후보 풀을 통해 높은 성능의 경로를 동적으로 추적하고 활용함으로써 높은 정확도를 유지하는 것.
• 동일한 FLOPs 또는 지연 시간 제약 조건 하에서 기존 일회성 NAS 방법들과 비교해 더 높은 정확도와 학습 효율성을 달성하는 것.

제안 방법

• 슈퍼넷 학습 중에 약한 경로를 걸러내기 위해 거절 기반의 다중 경로 샘플링 전략을 제안하여 효과적인 학습 공간을 줄인다.
• 경로 품질 평가 및 열등한 성능을 보이는 경로의 거절을 유도하기 위해 1,000장의 사전 설정 검증 세트를 사용한다.
• 탐색과 이용을 향상시키기 위해 후보 경로 풀을 도입하여 탐색 품질과 학습 효율성을 향상시킨다.
• 그리디 필터링을 시작하기 전에 슈퍼넷을 안정화시키기 위해 10,000 반복 동안 균일 샘플링을 사용하는 웜업 단계를 적용한다.
• 후보 풀을 이용해 이용(샘플링), 유전자 알고리즘 초기화, 적응형 조기 정지에 활용한다.
• 경로 필터링 이후 모든 경로에서 후보 풀 내 경로들로 집중하는 그리디 슈퍼넷 학습 제어 방식을 적용한다.

실험 결과

연구 질문

• RQ1 거대한 탐색 공간에서 모든 경로에 대해 균일하게 업데이트하는 것을 피함으로써 슈퍼넷 학습의 효율성을 높일 수 있는가?
• RQ2 학습 도중 약한 경로를 걸러내는 것이 최종 탐색 아키텍처의 정확도를 향상시키는가?
• RQ3 동적 후보 풀이 일회성 NAS에서 탐색과 이용을 모두 향상시킬 수 있는가?
• RQ4 일회성 NAS에서 정확도를 유지하거나 향상시키면서 학습 비용을 얼마나 줄일 수 있는가?

주요 결과

• GreedyNAS는 330M FLOPs 제약 조건 하에서 ImageNet에서 74.89%의 Top-1 정확도를 달성하여 동일한 하드웨어 제약 조건을 가진 기준 방법들을 능가한다.
• 이전의 일회성 NAS 방법들에 비해 약 40%의 슈퍼넷 학습 비용을 절감하면서도 더 높은 정확도를 달성한다.
• 후보 풀을 유전자 알고리즘 초기화에 사용함으로써 기준 방법 대비 0.18%의 정확도 향상을 달성한다.
• 10,000회의 웜업 반복 후 1,000장의 검증 이미지를 사용하여 슈퍼넷 예측과 진짜 성능 간의 순위 상관관계가 0.961(Kendall tau)에 도달한다.
• 후보 풀 기반의 정지 전략을 적용함으로써 정확도 저하 없이 효율성을 향상시켜 탐색과 이용의 균형 잡힌 조율이 가능하다는 것을 시사한다.
• 더 큰 탐색 공간에서 탐색을 수행할 때 새로운 최신 기준 아키텍처를 발견함으로써 확장성과 효과성을 입증한다.