[논문 리뷰] XNAS: Neural Architecture Search with Expert Advice

Niv Nayman, Asaf Noy외 4명|arXiv (Cornell University)|2019. 06. 19.

Advanced Bandit Algorithms Research참고 문헌 55인용 수 23

한 줄 요약

XNAS는 예측 전문가 추천 이론(PEA)에 영감을 받은 새로운 미분 가능 신경망 아키텍처 탐색(NAS) 방법을 제안한다. Exponentiated-Gradient 기반 최적화 알고리즘을 사용하며, 동적 프루닝과 적응형 학습률을 통해 아키텍처 선택에서의 회한을 최소화한다. 이는 상태의 기준을 초월하는 성능을 달성하여, 모바일 설정에서 CIFAR-10에서 1.60% 오차, ImageNet에서 24%의 top-1 오차를 기록한다. 기존 방법보다 더 깊고 복잡한 셀 아키텍처를 사용한다.

ABSTRACT

This paper introduces a novel optimization method for differential neural architecture search, based on the theory of prediction with expert advice. Its optimization criterion is well fitted for an architecture-selection, i.e., it minimizes the regret incurred by a sub-optimal selection of operations. Unlike previous search relaxations, that require hard pruning of architectures, our method is designed to dynamically wipe out inferior architectures and enhance superior ones. It achieves an optimal worst-case regret bound and suggests the use of multiple learning-rates, based on the amount of information carried by the backward gradients. Experiments show that our algorithm achieves a strong performance over several image classification datasets. Specifically, it obtains an error rate of 1.6% for CIFAR-10, 24% for ImageNet under mobile settings, and achieves state-of-the-art results on three additional datasets.

연구 동기 및 목표

• 기존 NAS 방법의 한계를 해결하기 위해, 이론적 기반 부족, 비최적의 하드 프루닝, 과도한 하이퍼파rameter 튜닝을 해결한다.
• 운영 선택에서의 회한을 최소화하는 원리적인 최적화 프레임워크를 개발한다.
• 열악한 아키텍처의 동적 프루닝과 위생적 복구를 위한 와이프아웃 메커니즘을 가능하게 한다.
• 이론적 보장에서 유도된 학습률 스케줄을 통해 수동 하이퍼파rameter 튜닝에 대한 의존도를 줄인다.

제안 방법

• 각 연산/연결을 전문가로 간주하는 분리 가능한 예측 전문가 추천(PEA) 하위 공간으로 NAS 탐색 공간을 수식화한다.
• 아키텍처 가중치 최적화를 위해 Exponentiated-Gradient(EG) 알고리즘을 적용하여 희박성과 저성능 전문가의 동적 프루닝을 유도한다.
• 학습 중 열악한 전문가를 제거하고 나중에 잠재적으로 효과적인 전문가를 복구할 수 있도록 와이프아웃 메커니즘을 도입한다.
• 기울기 정보를 기반으로 전문가 그룹 별로 다수의 학습률을 사용하며, 이론적 회한 한계에 따라 안내한다.
• 아키텍처 선택이 임의로 이루어지는 것을 방지하기 위해 감소하지 않는 아키텍처 가중치 업데이트 규칙을 활용한다.
• 초기화에 대한 강건성을 향상시키고 늦게 성장하는 연산의 복구를 지원하기 위해 보상 기반 목표 함수를 사용한다.

실험 결과

연구 질문

• RQ1 PEA 기반의 이론 기반 최적화 방법이 미분 가능 NAS의 강건성과 성능을 향상시킬 수 있는가?
• RQ2 하나의 하드 프루닝 결정에 의존하지 않고, 신경망 아키텍처 구성 요소의 동적 프루닝과 복구는 어떻게 달성할 수 있는가?
• RQ3 이론적 회한 한계에서 도출된 적응형 학습률이 더 나은 아키텍처 탐색 성능과 하이퍼파rameter 민감도 감소에 기여할 수 있는가?
• RQ4 학습된 아키텍처의 깊이와 복잡성이 벤치마크 데이터셋에서 정확도 향상에 기여하는 정도는 어느 정도인가?
• RQ5 이 방법은 다양한 데이터셋에서 최상의 성능를 달성하면서도 이론적 보장을 유지할 수 있는가?

주요 결과

• XNAS는 CIFAR-10에서 1.60%의 top-1 오차율을 기록하여 기존 NAS 방법보다 20% 이상 향상된 성능를 달성한다.
• 모바일 설정에서 ImageNet에서 XNAS는 24%의 top-1 오차를 기록하여 대규모 벤치마크에서 뛰어난 성능를 입증한다.
• 평가된 일곱 개 데이터셋 중 세 개에서 최상의 성능를 기록했으며, 나머지 네 개 데이터셋에서는 상위-NAS 메서드 중 하나로 랭크된다.
• XNAS에서 학습된 정상 셀의 평균 연결 깊이는 1.375로, 다른 NAS 방법보다 훨씬 깊어 더 높은 아키텍처 복잡성과 표현력을 시사한다.
• 비감소 가중치 업데이트 규칙과 적응형 학습률 덕분에 초기화에 대한 강건성과 늦게 성장하는 전문가의 복구가 가능하다.
• 알고리즘이 최적의 최악의 경우 회한 한계를 달성하여 아키텍처 선택 전략에 강력한 이론적 근거를 제공한다.