[논문 리뷰] Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation

Xin Chen, Lingxi Xie외 2명|arXiv (Cornell University)|2019. 04. 29.

Advanced Neural Network Applications참고 문헌 37인용 수 133

한 줄 요약

P-DARTS는 검색 네트워크의 깊이를 점진적으로 증가시켜 검색과 평가 사이의 격차를 줄이고, 검색 공간 근사와 정규화를 통해 효율성과 안정성을 유지합니다. CIFAR-10/100 및 ImageNet에서 매우 낮은 검색 비용으로 최첨단 또는 경쟁력 있는 결과를 달성합니다.

ABSTRACT

Recently, differentiable search methods have made major progress in reducing the computational costs of neural architecture search. However, these approaches often report lower accuracy in evaluating the searched architecture or transferring it to another dataset. This is arguably due to the large gap between the architecture depths in search and evaluation scenarios. In this paper, we present an efficient algorithm which allows the depth of searched architectures to grow gradually during the training procedure. This brings two issues, namely, heavier computational overheads and weaker search stability, which we solve using search space approximation and regularization, respectively. With a significantly reduced search time (~7 hours on a single GPU), our approach achieves state-of-the-art performance on both the proxy dataset (CIFAR10 or CIFAR100) and the target dataset (ImageNet). Code is available at https://github.com/chenxin061/pdarts.

연구 동기 및 목표

• NAS 검색 깊이와 differentiable NAS 방법에서 관찰되는 평가 깊이 간의 격차를 동기 부여하고 해결한다.
• 탐색 중에 깊이를 증가시키는 점진적 탐색 패러다드를 도입하여 평가 조건과 더 잘 맞도록 한다.
• 깊이를 증가시킬 때 계산 오버헤드와 불안정성을 완화하는 메커니즘을 개발한다.
• 발견된 아키텍처의 CIFAR-10/100 및 ImageNet에서의 뛰어난 성능 및 전달 가능성을 입증한다.
• 메모리 효율적인 탐색 및 안정성 향상을 위한 실용적 통찰을 제공한다.

제안 방법

• DARTS를 기본 differentiable NAS 프레임워크로 확장하고 깊이가 증가하는 다단계 탐색 프로세스를 정의한다.
• 단계 전환 시 덜 유망한 연산을 제거하기 위한 탐색 공간 근사를 사용하여 깊이가 커질수록 메모리/계산을 감소시킨다.
• 연산 수준 Dropout으로 건너뛰기 연결의 지배력을 줄이고 타깃 건너뛰기 연결 수를 고정하기 위한 아키텍처 정규화를 도입한다.
• 탐색된 네트워크를 점진적으로 심화시키면서(5 -> 11 -> 17 셀) 후보 연산을 축소한다(8 -> 5 -> 3 -> 2).
• 그래디언트 기반 최적화로 아키텍처 매개변수를 학습하고 효율성을 위해 1차 DARTS를 사용하며 최종 셀 토폴로지는 학습된 가중치와 규칙으로 선택한다.
• 발견된 아키텍처를 CIFAR-10/100 및 ImageNet(모바일 설정)에서 처음부터 학습시키며 전달 가능성을 평가한다.

실험 결과

연구 질문

• RQ1 NAS에서 검색 깊이를 점진적으로 증가시키면 검색 시점의 아키텍처와 평가 시점의 아키텍처 간의 성능 차이를 줄일 수 있는가?
• RQ2 탐색 공간 근사가 검색 메모리와 시간을 대폭 줄이면서 성능을 효과적으로 유지하는가?
• RQ3 정규화(Dropout 건너뛰기 및 아키텍처 정제)가 탐색 프로세스를 안정화하고 최종 아키텍처 품질을 향상시키는가?
• RQ4 CIFAR-10/100에서 발견된 아키텍처가 모바일 환경에서 ImageNet으로 얼마나 잘 전달되는가?

주요 결과

• P-DARTS는 CIFAR-10에서 3.4M 매개변수 및 CIFAR-10에서 0.3 GPU-일의 탐색으로 2.50% 테스트 오차를 달성하며 CIFAR-100으로의 전달에서도 강력한 성능을 보인다.
• CIFAR-10/100에서 CIFAR-10에서 발견된 아키텍처는 모바일 설정에서 ImageNet으로 효과적으로 전달되며 DARTS 및 SNAS를 포함한 여러 비교 기준보다 정확도와 탐색 효율성 모두에서 우수하다.
• 탐색 공간 근사는 메모리 사용을 크게 줄이고 표준 GPU에서 멀티 스테이지 깊이 증가 탐색을 가능하게 한다(대략 P100에서 7시간 소요).
• 연산 수준 Dropout 및 아키텍처 정제를 포함한 정규화가 탐색을 안정화하고 건너뛰기 연결 수를 제어된 상태로 갖춘 아키텍처를 얻어 최종 정확도를 향상시킨다(예: progressive 단계 이후 CIFAR-10에서 2.58%를 달성).
• 얕은 검색 DARTS와 비교하여 깊이가 점진적으로 증가하는 접근 방식이 더 깊은 연결을 가진 셀을 발견하게 하며, 이는 평가 성능과의 상관관계가 높다.