[논문 리뷰] AtomNAS: Fine-Grained End-to-End Neural Architecture Search

Jieru Mei, Yingwei Li외 5명|arXiv (Cornell University)|2019. 12. 20.

Advanced Neural Network Applications참고 문헌 33인용 수 42

한 줄 요약

AtomNAS는 미세한 원자 블록 탐색 공간과 동적 가지치기 및 FLOPs 인식 정규화를 갖춘 엔드-투-엔드 차별화 가능한 NAS를 도입하여 검색 비용을 줄이면서 모바일 ImageNet에서 최첨단 결과를 달성합니다.

ABSTRACT

Search space design is very critical to neural architecture search (NAS) algorithms. We propose a fine-grained search space comprised of atomic blocks, a minimal search unit that is much smaller than the ones used in recent NAS algorithms. This search space allows a mix of operations by composing different types of atomic blocks, while the search space in previous methods only allows homogeneous operations. Based on this search space, we propose a resource-aware architecture search framework which automatically assigns the computational resources (e.g., output channel numbers) for each operation by jointly considering the performance and the computational cost. In addition, to accelerate the search process, we propose a dynamic network shrinkage technique which prunes the atomic blocks with negligible influence on outputs on the fly. Instead of a search-and-retrain two-stage paradigm, our method simultaneously searches and trains the target architecture. Our method achieves state-of-the-art performance under several FLOPs configurations on ImageNet with a small searching cost. We open our entire codebase at: https://github.com/meijieru/AtomNAS.

연구 동기 및 목표

• 전통적인 블록 수준 선택을 넘어 더 미세한 NAS 탐색 공간의 필요성을 동기 부여합니다.
• 혼합 연산 및 유연한 채널 할당을 가능하게 하는 최소 탐색 단위로 원자 블록을 제안합니다.
• FLOPs 인식 정규화를 강제하는 동시에 네트워크 가중치와 원자 블록 중요도를 함께 학습하는 엔드-투-엔드 NAS 프레임워크를 개발합니다.
• 실시간으로 죽은 원자 블록을 가지치기하여 탐색 속도를 높이는 동적 네트워크 수축을 도입합니다.
• 모바일 FLOP 제약 하에서 ImageNet에서 최첨단 성능을 입증하고 탐색에서의 전이 가능성을 검증합니다.

제안 방법

• 건물 블록을 두 개의 컨볼루션으로 구성되고 채널 단위 연산에 의해 연결된 원자 블록으로 분해되는 미세한 탐색 공간을 정의합니다.
• 전체 네트워크를 원자 블록의 합으로 표현하고 학습 가능한 중요도 계수 alpha를 통해 엔드-투-엔드로 블록 선택을 가능하게 합니다(Eq. 4).
• 비용 계수로 가중된 alpha에 대한 L1 페널티를 통해 저비용 블록의 선호를 유도하는 FLOPs 인식 정규화를 적용합니다(Eq. 5–6).
• 학습 중 진화하는 alpha 값에 따라dead 원자 블록을 제거하는 동적 네트워크 수축을 사용합니다(Algorithm 1).
• 가지치기 후 BN 통계를 재계산하여 추론 성능의 정확성을 보장합니다.
• 엔드-투-엔드 차별화 가능한 탐색 및 가지치기를 통해 최종 아키텍처를 얻고 후속 미세 조정 없이도 학습을 종합합니다.

실험 결과

연구 질문

• RQ1 미세한 원자 블록 탐색 공간이 전통적인 블록 수준 NAS에 비해 정확도와 FLOPs 간의 더 나은 균형을 제공하는가?
• RQ2 FLOPs 인식 정규화를 사용하는 엔드-투-엔드 차별화 탐색이 고정 FLOP 예산 하에서 모바일 및 컴팩트 디자인 기준을 능가하는 아키텍처를 만들 수 있는가?
• RQ3 실시간 동적 가지치기(수축)가 최종 정확도 손실 없이 탐색 비용을 줄일 수 있는가?
• RQ4 AtomNAS로 생성된 모델이 탐지 및 인스턴스 분할 작업으로 얼마나 잘 전이되는가?
• RQ5 가지치기 후 BN 재조정이 최종 정확도에 미치는 영향은 무엇인가?

주요 결과

• AtomNAS-C는 ImageNet에서 360M FLOPs에서 상위 1% 중 75.9%의 정확도(top-1)를 달성하여 여러 최첨단 모바일 모델을 능가합니다.
• AtomNAS-C+는 363M FLOPs에서 상위 1% 77.6%의 정확도에 도달하여 MixNet-M을 능가하고 400M FLOPs 이하 모바일 시나리오에서 새로운 SOTA를 설정합니다.
• AtomNAS-A 및 AtomNAS-B도 각각의 FLOPs 예산에서 강력한 결과를 달성합니다(예: AtomNAS-A 258M FLOPs에서 74.6%, AtomNAS-B 326M FLOPs에서 75.5%).
• ABLATIONS에서 자원 인식 정규화가 평등 페널티 기준선에 비해 FLOPs 효율성과 정확도 트레이드오프를 개선합니다.
• 가지치기 후 BN 재조정은 상위 1% 정확도에 의미 있는 이점을 제공합니다(AtomNAS-A +1.4, AtomNAS-B +1.7, AtomNAS-C +1.2).
• 동적 수축은 dead 블록을 조기에 가지치기하여 탐색 비용을 줄이며 AtomNAS-C의 전체 탐색+학습 시간은 약 25.5시간(최종 제로부터 학습은 약 22시간) 정도입니다.
• AtomNAS 모델은 COCO 탐지/분할로도 잘 전이되며 탐지 및 분할 지표에서 기준선보다 우수합니다.