[논문 리뷰] Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search

Yong Guo, Yaofo Chen외 5명|arXiv (Cornell University)|2020. 07. 07.

Advanced Neural Network Applications인용 수 36

한 줄 요약

본 논문은 Curriculum Neural Architecture Search (CNAS)를 제안하며, 이는 NAS 탐색 공간을 점진적으로 확장하고 커리큘럼 학습 및 연산 워밍업 전략을 사용해 샘플링 효율성과 아키텍처 품질을 향상시키고, CIFAR-10 및 ImageNet에서 감소된 탐색 비용으로 우수한 결과를 달성한다.

ABSTRACT

Neural architecture search (NAS) has become an important approach to automatically find effective architectures. To cover all possible good architectures, we need to search in an extremely large search space with billions of candidate architectures. More critically, given a large search space, we may face a very challenging issue of space explosion. However, due to the limitation of computational resources, we can only sample a very small proportion of the architectures, which provides insufficient information for the training. As a result, existing methods may often produce suboptimal architectures. To alleviate this issue, we propose a curriculum search method that starts from a small search space and gradually incorporates the learned knowledge to guide the search in a large space. With the proposed search strategy, our Curriculum Neural Architecture Search (CNAS) method significantly improves the search efficiency and finds better architectures than existing NAS methods. Extensive experiments on CIFAR-10 and ImageNet demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 매우 큰 탐색 공간으로 인한 NAS의 공간 폭발 문제를 해결한다.
• 공간 크기가 증가하는 일련의 NAS 문제를 해결하는 커리큘럼 탐색 전략을 제안한다.
• 더 단순한 탐색 공간에서 더 복잡한 탐색 공간으로 지식을 보존하고 전이시켜 샘플링 정확도를 향상시킨다.
• 새로운 연산을 도입할 때 발생하는 학습 불안정을 완화하기 위해 연산 워밍업 체계를 도입한다.

제안 방법

• NAS를 DAG 기반 셀 공간에서 아키텍처를 샘플링하는 컨트롤러와 함께 강화 학습 문제로 표현한다.
• 노드 수를 증가시키기보다 후보 연산을 추가하여 점진적으로 성장하는 탐색 공간을 정의하고, 공간 확장을 더 완만하게 한다.
• 가중치 공유를 통한 슈퍼 네트워크를 학습시켜 아키텍처 보상을 효율적으로 추정한다.
• 탐색을 촉진하기 위해 엔트로피 항을 포함하여 단계별로 아키텍처를 최적화하는 커리큘럼 학습 알고리즘을 도입한다.
• 공정한 비교와 안정적인 학습을 보장하기 위해 고정된 컨트롤러 하에서 새로운 연산을 학습시키는 연산 워밍업을 적용한다.
• 최종 단계 정책에서 여러 후보를 샘플링하고 검증 데이터에서 최선을 선택하여 최종 아키텍처를 추론한다.

실험 결과

연구 질문

• RQ1 커리큘럼 학습이 점진적으로 더 어려운 NAS 문제의 일련의 해결을 통해 NAS 공간 폭발을 완화할 수 있는가?
• RQ2 노드가 아닌 점진적인 연산 추가가 더 매끄러운 탐색 공간 성장을 가져오고 더 나은 최종 아키텍처를 만들 수 있는가?
• RQ3 새로운 연산이 도입될 때 연산 워밍업 전략이 학습을 안정화시키는가?
• RQ4 CNAS가 CIFAR-10과 ImageNet에서 최첨단 NAS 방법들과 비교하여 어떤 성능을 보이는가?

주요 결과

• CNAS는 CIFAR-10에서 고정 크기 NAS 베이스라인 및 CNAS-Node를 지속적으로 능가한다.
• 커리큘럼 접근법은 작은 탐색 공간에서 큰 공간으로의 전이 가능한 지식을 학습하게 하여 최종 아키텍처 품질을 향상시킨다.
• 연산 워밍업은 학습을 크게 안정화시키고 탐색 성능을 향상시킨다.
• CNAS 아키텍처는 여러 NAS 방법에 비해 탐색 비용을 크게 줄이면서도 경쟁력 있거나 우수한 정확도를 달성한다.
• 최종 CIFAR-10 아키텍처를 ImageNet으로 전이한 결과 모바일 환경에서 강한 성능을 보인다.
• CNAS의 코드가 공개되어 있다.
• 실험은 CNAS의 다수 벤치마크에서의 우월성과 최첨단 모델과의 비교에서의 우수성을 보여준다.