[논문 리뷰] Differentiable Neural Architecture Search via Proximal Iterations.

Quanming Yao, Ju Xu외 2명|arXiv (Cornell University)|2019. 05. 30.

Advanced Neural Network Applications참고 문헌 38인용 수 7

한 줄 요약

이 논문은 운영 업데이트에서 희소성(스포arsity)를 강제하기 위해 보정 반복(proximal iterations)을 사용하는 유연한 신경망 아키텍처 탐색(NASP) 방법을 제안한다. 이는 수렴 속도를 빠르게 하며, 각 반복에서 오직 한 개의 운영만 업데이트되도록 제한함으로써 DARTS 대비 10배 빠른 속도 향상을 달성한다. 다양한 벤치마크에서 성능을 유지하거나 향상시킨다.

ABSTRACT

Neural architecture search (NAS) recently attracts much research attention because of its ability to identify better architectures than handcrafted ones. However, many NAS methods, which optimize the search process in a discrete search space, need many GPU days for convergence. Recently, DARTS, which constructs a differentiable search space and then optimizes it by gradient descent, can obtain high-performance architecture and reduces the search time to several days. However, DARTS is still slow as it updates an ensemble of all operations and keeps only one after convergence. Besides, DARTS can converge to inferior architectures due to the strong correlation among operations. In this paper, we propose a new differentiable Neural Architecture Search method based on Proximal gradient descent (denoted as NASP). Different from DARTS, NASP reformulates the search process as an optimization problem with a constraint that only one operation is allowed to be updated during forward and backward propagation. Since the constraint is hard to deal with, we propose a new algorithm inspired by proximal iterations to solve it. Experiments on various tasks demonstrate that NASP can obtain high-performance architectures with 10 times of speedup on the computational time than DARTS.

연구 동기 및 목표

• 기존 신경망 아키텍처 탐색(NAS) 방법의 높은 계산 비용 문제를 해결하며, 특히 이산 탐색 공간에 의존하는 방법들을 대상으로 한다.
• 모든 운영을 동시에 업데이트하고 수렴 후 유일한 운영만 유지하는 DARTS의 느린 수렴 문제를 해결한다.
• 운영 간 강한 상관관계로 인해 DARTS가 최적 아키텍처로 수렴하지 못하는 문제를 완화한다.
• 운영 업데이트의 희소성을 강제하는 유연한 탐색 방법을 개발하여 학습 효율성과 아키텍처 품질을 향상시킨다.

제안 방법

• 각 전방 및 역전파 계산에서 오직 한 운영만 업데이트되도록 하여, NAS 탐색 과정을 제약 조건이 있는 최적화 문제로 재구성한다.
• 하나의 운영만 업데이트되는 하드 제약 조건을 다루기 위해 보정 반복 기반의 새로운 알고리즘을 제안하여 유연한 최적화를 가능하게 한다.
• 보정 기반 경사 하강법을 사용하여 희소성 유지 조건을 만족하면서도 단일 운영을 반복적으로 업데이트한다.
• 다중 운영 간 상호 적응을 방지하는 구조적 제약 조건을 유지하면서도 탐색 공간의 유연성을 확보한다.
• 하드 희소성 제약 조건을 적용하면서도 아키텍처 파라미터가 기울기 하강법에 의해 최적화되는 유연한 탐색 공간을 설계한다.
• 보정 연산자를 활용하여 업데이트 방향을 오직 한 운영만 활성화되는 타당한 집합 위로 투영한다.

실험 결과

연구 질문

• RQ1 유연한 NAS에서 운영 업데이트의 희소성 강제가 아키텍처 성능을 희생시키지 않고도 수렴 속도를 향상시킬 수 있는가?
• RQ2 제안된 보정 반복 기반 최적화 전략은 표준 기울기 하강법 대비 수렴 속도와 최종 정확도 측면에서 어떻게 비교되는가?
• RQ3 단일 운영 업데이트 제약 조건이 NAS에서 운영 간 상관관계로 인한 부정적 영향을 어느 정도 감소시키는가?
• RQ4 제안된 방법은 상당히 감소된 계산 비용으로 DARTS와 동일하거나 더 높은 성능을 달성할 수 있는가?

주요 결과

• NASP는 다양한 벤치마크 작업에서 DARTS 대비 계산 시간을 10배 빠르게 한다.
• CIFAR-10, CIFAR-100, ImageNet-1K을 포함한 표준 NAS 벤치마크에서 성능을 유지하거나 향상시킨다.
• 보정 반복을 통한 희소성 강제로 인해 DARTS에서 관찰되는 상관관계로 인한 수렴 문제를 줄였다.
• 단일 운영 업데이트 제약 조건은 아키텍처 탐색 중 더 안정적이고 효율적인 최적화 역학을 이끈다.
• 더 제약이 강한 업데이트 메커니즘에도 불구하고 NASP는 DARTS보다 빠르게 고성능 아키텍처로 수렴한다.
• 제안된 방법은 최종 모델 정확도를 훼손하지 않으면서도 탐색 효율성에서 일관된 향상을 보였다.