[논문 리뷰] Progressive DARTS: Bridging the Optimization Gap for NAS in the Wild

Xin Chen, Lingxi Xie외 2명|arXiv (Cornell University)|2019. 12. 23.

Advanced Neural Network Applications참고 문헌 48인용 수 20

한 줄 요약

이 논문은 초순망의 깊이를 점진적으로 증가시키면서 검색과 평가 간 최적화 격차를 해소하는 새로운 미분 가능 신경망 아키텍처 탐색 방법인 프로그레시브 DARTS(P-DARTS)를 제안한다. 검색 공간 근사화와 정규화를 도입하여 학습 안정성과 계산 비용을 감소시킴으로써, 단일 GPU에서 7시간의 검색 시간으로 CIFAR-10에서 최고 성능(2.50% 테스트 오차)을 달성하고, ImageNet, COCO 객체 검출 및 ReID 벤치마크에서 뛰어난 전이 성능을 확보한다.

ABSTRACT

With the rapid development of neural architecture search (NAS), researchers found powerful network architectures for a wide range of vision tasks. However, it remains unclear if the searched architecture can transfer across different types of tasks as manually designed ones did. This paper puts forward this problem, referred to as NAS in the wild, which explores the possibility of finding the optimal architecture in a proxy dataset and then deploying it to mostly unseen scenarios. We instantiate this setting using a currently popular algorithm named differentiable architecture search (DARTS), which often suffers unsatisfying performance while being transferred across different tasks. We argue that the accuracy drop originates from the formulation that uses a super-network for search but a sub-network for re-training. The different properties of these stages have resulted in a significant optimization gap, and consequently, the architectural parameters "over-fit" the super-network. To alleviate the gap, we present a progressive method that gradually increases the network depth during the search stage, which leads to the Progressive DARTS (P-DARTS) algorithm. With a reduced search cost (7 hours on a single GPU), P-DARTS achieves improved performance on both the proxy dataset (CIFAR10) and a few target problems (ImageNet classification, COCO detection and three ReID benchmarks). Our code is available at \url{https://github.com/chenxin061/pdarts}.

연구 동기 및 목표

• 프록시 데이터셋에서의 아키텍처를 새로운 작업으로 전이할 때 발생하는 불안정성과 성능 저하 문제를 해결하기 위해, 이를 'NAS 인 더 와일드'(NAS in the wild)로 지칭한다.
• 초순망 검색 단계와 하위망 평가 단계 사이의 최적화 격차가 낮은 전이성의 근본 원인임을 규명한다.
• 검색 과정에서 초순망의 성질을 최종 하위망과 점진적으로 일치시키기 위해 깊이를 점진적으로 증가시키는 방법을 설계한다.
• 검색 공간 근사화와 정규화 기법을 도입하여 검색 비용을 감소시키고 안정성을 향상시킨다.
• 이미지 분류, 객체 검출, 인물 재식별 등 다양한 비전 작업에서 검색된 아키텍처의 뛰어난 전이 성능을 입증한다.

제안 방법

• 평가 단계에서 사용할 최종 하위망의 인덕티브 바이어스와 더 잘 일치시키기 위해, 여러 검색 단계에 걸쳐 초순망의 깊이를 점진적으로 증가시킨다.
• 초순망의 깊이가 증가함에 따라 후보 연산 수를 줄여 검색 공간의 복잡도를 제어함으로써 계산 비용을 관리한다.
• 학습 중 스킵 커넥션 연산의 지배를 줄이고 기울기 불안정성을 방지하기 위해 연산 수준의 드롭아웃을 도입한다.
• 최종 아키텍처 선택 과정에 정규화를 적용하여 스킵 커넥션에 과도하게 의존하는 것을 막고 일반화 성능을 향상시킨다.
• 이중 단계 학습 프로토콜을 사용한다: 먼저 점진적으로 깊어지는 초순망을 학습하고, 이후에 최종 하위망을 타겟 작업에서 프리닝하고 재학습한다.
• 기본 프레임워크로 미분 가능 아키텍처 탐색(DARTS)을 활용하며, 검색 동역학만 수정하여 점진적인 깊이 스케일링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 초순망에서 깊이를 점진적으로 증가시키는 것이 NAS에서 검색과 평가 간 최적화 격차를 줄일 수 있는가?
• RQ2 초순망의 깊이 증가에 따라 검색 공간의 복잡도를 근사화함으로써 계산 비용을 낮추면서도 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 정규화 기법이 깊은 초순망에서 스킵 커넥션의 기울기 지배로 인한 불안정성을 완화시킬 수 있는가?
• RQ4 CIFAR-10과 같은 프록시 데이터셋에서 검색된 아키텍처가 ImageNet 분류, COCO 객체 검출, ReID와 같은 다양한 하류 작업으로 얼마나 잘 일반화되는가?
• RQ5 검색 데이터셋과 타겟 데이터셋 간의 도메인 격차가 검색된 아키텍처의 전이성에 어떤 영향을 미치는가?

주요 결과

• P-DARTS는 단지 340만 개의 파라미터로 CIFAR-10에서 최고 성능인 2.50%의 테스트 오차를 달성하며, 기존 방법들을 능가한다.
• 검색 비용은 단일 GPU에서 7시간으로 줄었고, 검색 공간 근사화를 통해 0.3 GPU일로 감소하여 ENAS를 초월하는 효율성을 확보했다.
• ImageNet 분류 작업에서, CIFAR-10에서 검색한 백본을 사용하는 P-DARTS-SSD는 COCO 객체 검출에서 29.9%의 AP를 기록하며 더 무거운 백본을 사용한 모델들을 능가했다.
• 512 입력 크기의 객체 검출에서, P-DARTS-SSD는 ResNet-101 기반 SSD보다 14배 적은 FLOPs로 34.1%의 AP를 달성했다.
• ReID 벤치마크(Market-1501, DukeMTMC-reID, MSMT17)에서, CIFAR-10에서 검색한 P-DARTS 백본은 FLOPs와 특징 차원 수가 더 적은 상황에서 ResNet-50 및 DARTS 백본을 능가하는 성능을 보였다.
• 검색과 타겟 작업 간 도메인 격차는 전이성에 영향을 미친다: CIFAR-10에서 검색된 아키텍처는 이미지 품질과 해상도가 유사한 ReID 작업으로 더 잘 일반화되며, ImageNet에서 검색된 모델은 ReID 작업에서 성능이 열 劣한다.