[논문 리뷰] RC-DARTS: Resource Constrained Differentiable Architecture Search

Xiaojie Jin, Jiang Wang외 5명|arXiv (Cornell University)|2019. 12. 30.

Advanced Neural Network Applications참고 문헌 38인용 수 25

한 줄 요약

RC-DARTS는 사용자가 정의한 자원 제약 조건(예: FLOPs 및 모델 크기) 하에서 신경망 아키텍처를 최적화하는 유연한 아키텍처 탐색 프레임워크를 제안한다. 이는 제약 최적화 문제를 해결하기 위해 반복적 투영 알고리즘을 사용한다. CIFAR-10과 ImageNet에서 기존의 NAS 방법 및 수작업으로 설계된 경량 네트워크보다 효율성-정확도 트레이드오프에서 뛰어난 성능을 달성하며, 훨씬 작고 빠른 모델로 상태최저 수준의 정확도를 확보한다.

ABSTRACT

Recent advances show that Neural Architectural Search (NAS) method is able to find state-of-the-art image classification deep architectures. In this paper, we consider the one-shot NAS problem for resource constrained applications. This problem is of great interest because it is critical to choose different architectures according to task complexity when the resource is constrained. Previous techniques are either too slow for one-shot learning or does not take the resource constraint into consideration. In this paper, we propose the resource constrained differentiable architecture search (RC-DARTS) method to learn architectures that are significantly smaller and faster while achieving comparable accuracy. Specifically, we propose to formulate the RC-DARTS task as a constrained optimization problem by adding the resource constraint. An iterative projection method is proposed to solve the given constrained optimization problem. We also propose a multi-level search strategy to enable layers at different depths to adaptively learn different types of neural architectures. Through extensive experiments on the Cifar10 and ImageNet datasets, we show that the RC-DARTS method learns lightweight neural architectures which have smaller model size and lower computational complexity while achieving comparable or better performances than the state-of-the-art methods.

연구 동기 및 목표

• 기존 일괄 NAS 방법에서의 비효율성과 자원 인식 부족 문제, 특히 블랙박스 최적화에 의존하는 방법들을 해결하기 위해.
• 정확도를 극대화하면서 사용자가 정의한 자원 제약 조건(예: FLOPs, 모델 크기)을 고려한 제약 최적화 문제로 신경망 아키텍처 탐색을 재정의하기 위해.
• 자원 제약 조건을 준수하면서 기울기 기반 최적화를 통해 아키텍처 탐색을 수행할 수 있는 종단 간 일괄 학습 프레임워크를 개발하기 위해.
• 네트워크 깊이에 따라 아키텍처 선택을 적응적으로 조정할 수 있는 다수준 탐색 전략을 도입하여 탐색 효율성과 아키텍처 품질을 향상시키기 위해.
• 자동으로 탐색된 아키텍처가 수작업으로 설계된 경량 모델보다 정확도 및 효율성 트레이드오프에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 표준 DARTS 목적함수에 자원 제약 조건(예: FLOPs, 모델 크기)을 추가하여 NAS 문제를 제약 최적화 과제로 재구성하기 위해.
• 학습 중 자원 제약 조건을 준수하기 위해 반복적 투영 알고리즘을 도입하여, 각 최적화 단계에서 아키텍처 파라미터를 제약 조건으로 정의된 탇가능 영역으로 투영하기 위해.
• 다른 깊이의 레이어에서 서로 다른 아키텍처 연산을 학습할 수 있도록 허용하는 다수준 탐색 전략을 제안하여, 전체 모델 크기 및 FLOPs에 기여도가 다른 레이어의 기여도를 반영하기 위해.
• 네트워크 전반에서 더 나은 파레토 최적 해를 달성할 수 있도록 표현력이 향상된 아키텍처를 가능하게 하는 새로운 연결 셀을 설계하기 위해.
• 이산 자원 비용을 연속적 근사화하여 제약 최적화 문제를 기울기 하강법으로 해석 가능하게 만들기 위해.
• 표준 역전파를 사용하여 아키텍처와 가중치를 동시에 학습시켜, 높은 효율성으로 일괄적 아키텍처 탐색을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 기울기 기반 최적화 프레임워크에 FLOPs 및 모델 크기와 같은 명시적 자원 제약 조건을 효과적으로 통합할 수 있는가?
• RQ2 기울기 기반 최적화 프레임워크에서 기울기의 유지가 깨지 않도록 자원 제약 조건을 통합할 수 있는가?
• RQ3 네트워크 깊이에 따라 아키텍처 선택을 적응적으로 조정할 수 있는 다수준 탐색 전략이 정확도-효율성 트레이드오프를 향상시킬 수 있는가?
• RQ4 제안된 반복적 투영 방법이 자원 제약 조건을 효과적으로 준수하면서도 높은 검증 정확도를 유지하는가?
• RQ5 자동으로 탐색된 아키텍처가 정확도, 크기, 계산 비용 측면에서 수작업으로 설계된 경량 모델과 제약 조건이 없는 NAS 방법을 모두 능가할 수 있는가?

주요 결과

• RC-DARTS는 CIFAR-10과 ImageNet에서 정확도, 모델 크기 및 FLOPs 측면에서 기존의 NAS 및 수작업 모델을 능가하는 최상의 성능을 달성한다.
• 이 방법은 기준 모델보다 훨씬 작고 빠른 가벼운 아키텍처를 학습하여 정확도를 유지하거나 향상시키고 있다.
• 반복적 투영 알고리즘이 학습 중 자원 제약 조건을 효과적으로 준수하여 타당하고 고성능의 아키텍처로 수렴하는 데 성공했다.
• 다수준 탐색 전략은 깊은 레이어에서 더 복잡한 연산을 선택하고 浅층 레이어에서는 단순한 연산을 사용하도록 유도하여 전체 효율성을 향상시켰다.
• 새로운 연결 셀 설계는 네트워크 전반에서 더 나은 파레토 최적 아키텍처를 가능하게 하여 정확도-복잡도 트레이드오프를 향상시켰다.
• 특히 엄격한 자원 제약 조건 하에서도 블랙박스 NAS 및 제약 없는 기울기 기반 탐색(DARTS)에 비해 더 뛰어난 탐색 효율성과 아키텍처 품질을 보였다.