[논문 리뷰] DrNAS: Dirichlet Neural Architecture Search

Xiangning Chen, Ruochen Wang외 3명|arXiv (Cornell University)|2020. 06. 18.

Advanced Neural Network Applications참고 문헌 45인용 수 7

한 줄 요약

DrNAS는 아키텍처 혼합 가중치를 딜리클레 분포로 모델링하여 경로 기반 기울기로 엔드 투 엔드 최적화를 가능하게 하고, 통제된 확률적 성질을 통해 일반화 성능을 향상시키는 미분 가능한 신경망 아키텍처 탐색 방법을 제안한다. 이는 모바일 설정에서 CIFAR-10에서 2.46%의 테스트 오차와 ImageNet에서 23.7%의 상위-1 오차를 기록하며 최신 기술 수준을 달성하며, 대규모 작업을 위한 점진적 학습 기반으로 검색-평가 간 격차를 제거한다.

ABSTRACT

This paper proposes a novel differentiable architecture search method by formulating it into a distribution learning problem. We treat the continuously relaxed architecture mixing weight as random variables, modeled by Dirichlet distribution. With recently developed pathwise derivatives, the Dirichlet parameters can be easily optimized with gradient-based optimizer in an end-to-end manner. This formulation improves the generalization ability and induces stochasticity that naturally encourages exploration in the search space. Furthermore, to alleviate the large memory consumption of differentiable NAS, we propose a simple yet effective progressive learning scheme that enables searching directly on large-scale tasks, eliminating the gap between search and evaluation phases. Extensive experiments demonstrate the effectiveness of our method. Specifically, we obtain a test error of 2.46% for CIFAR-10, 23.7% for ImageNet under the mobile setting. On NAS-Bench-201, we also achieve state-of-the-art results on all three datasets and provide insights for the effective design of neural architecture search algorithms.

연구 동기 및 목표

• 기존의 미분 가능한 NAS 방법이 점추정을 통해 아키텍처 혼합 가중치를 직접 최적화함에 따라 발생하는 불안정성과 낮은 일반화 성능 문제를 해결하기 위해.
• 혼합 가중치를 내재된 확률적 성질을 가진 랜덤 변수로 모델링하여 아키텍처 탐색 공간 내 탐색 능력을 향상시키기 위해.
• 대규모 NAS에서 검색 단계와 평가 단계 간 격차를 제거하기 위해 전체 규모의 데이터셋에서 직접 검색을 가능하게 하기 위해.
• 프록시 작업이나 감소된 네트워크 용량 없이도 높은 성능을 유지하면서 메모리 효율적이고 확장 가능한 NAS 프레임워크를 개발하기 위해.

제안 방법

• 연속적인 혼합 가중치를 딜리클레 분포로 모델링하여 아키텍처 탐색을 분포 학습 문제로 재구성한다.
• 경로 기반 도함수 추정기를 사용하여 딜리클레 분포의 모수를 기울기 기반 최적화와 함께 엔드 투 엔드로 최적화한다.
• 탐색과 이용의 균형을 이루기 위해 딜리클레 농도 모수에 거리 정규화 항을 도입한다.
• 이론적 경계를 유도하여 제약된 목적함수가 검증 오차의 헤시안 노름을 암묵적으로 제어함으로써 안정성과 일반화를 증진시킴을 보여준다.
• 완전한 규모의 슈퍼넷을 유지하면서 단계별로 채널 비율을 점진적으로 증가시키는 점진적 학습 기반으로 설계된 프로그램을 제안한다.
• 학습된 분포를 기반으로 연산 프루닝을 적용하여 점진적 학습 기간 동안 메모리 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 딜리클레 분포를 통해 아키텍처 혼합 가중치를 랜덤 변수로 모델링하면, 미분 가능한 NAS에서 일반화 성능과 안정성 향상에 기여하는가?
• RQ2 딜리클레 분포에서 유도된 확률적 성질이 아키텍처 탐색 공간 내 탐색에 어떤 영향을 미치는가?
• RQ3 점진적 학습 기반으로 검색 단계와 평가 단계 간 격차를 제거할 수 있으며, 대규모 데이터셋에서 성능 저하 없이 수행 가능한가?
• RQ4 거리 정규화 항을 통해 딜리클레 분포의 분산을 제어할 경우, 탐색 안정성과 최종 아키텍처 품질에 어떤 영향을 미치는가?
• RQ5 다양한 벤치마크에서 정확도, 분산, 확장성 측면에서 DrNAS는 최신 기술 수준의 NAS 방법들과 비교해 어떻게 성능를 발휘하는가?

주요 결과

• DrNAS는 CIFAR-10에서 2.46%의 테스트 오차를 기록하여 이전 최신 기술 수준을 초월한다.
• 모바일 설정에서 ImageNet에서 DrNAS는 상위-1 오차 23.7%를 달성하여 이전 최신 기술 수준인 24.0%를 뛰어넘는다.
• NAS-Bench-201에서 DrNAS는 CIFAR-10, CIFAR-100, ImageNet-16-120의 세 가지 데이터셋 모두에서 새로운 최신 기술 수준 성능를 기록하며 낮은 분산을 보였다.
• 샘플링된 아키텍처의 정확도 범위가 시간이 지남에 따라 좁아지면서도 높은 성능를 유지함으로써 효과적인 탐색에서 이용으로의 전환을 보였다.
• 점진적 학습 기반으로 프록시 작업 없이 대규모 작업에서 직접 검색이 가능해져 검색-평가 격차를 제거하였다.
• 이론적 분석을 통해 제약된 목적함수가 검증 오차의 헤시안을 암묵적으로 정규화함으로써 일반화 성능 향상을 증명하였다.