[논문 리뷰] DSNAS: Direct Neural Architecture Search without Parameter Retraining

Shoukang Hu, Sirui Xie외 5명|arXiv (Cornell University)|2020. 02. 21.

Advanced Neural Network Applications참고 문헌 30인용 수 26

한 줄 요약

DSNAS는 한 번의 학습 단계에서 아키텍처와 파라미터를 동시에 최적화하는 직접적 신경망 아키텍처 탐색 프레임워크를 제안한다. 이로 인해 재학습이 필요 없으며, 420 GPU 시간 내에 ImageNet에서 74.4%의 top-1 정확도를 달성한다. 이는 최신 기법과 유사한 성능를 보이지만 총 계산 시간이 34% 이상 감소했고, 재학습 없이 바로 배포 가능한 모델을 제공한다.

ABSTRACT

If NAS methods are solutions, what is the problem? Most existing NAS methods require two-stage parameter optimization. However, performance of the same architecture in the two stages correlates poorly. In this work, we propose a new problem definition for NAS, task-specific end-to-end, based on this observation. We argue that given a computer vision task for which a NAS method is expected, this definition can reduce the vaguely-defined NAS evaluation to i) accuracy of this task and ii) the total computation consumed to finally obtain a model with satisfying accuracy. Seeing that most existing methods do not solve this problem directly, we propose DSNAS, an efficient differentiable NAS framework that simultaneously optimizes architecture and parameters with a low-biased Monte Carlo estimate. Child networks derived from DSNAS can be deployed directly without parameter retraining. Comparing with two-stage methods, DSNAS successfully discovers networks with comparable accuracy (74.4%) on ImageNet in 420 GPU hours, reducing the total time by more than 34%. Our implementation is available at https://github.com/SNAS-Series/SNAS-Series.

연구 동기 및 목표

• 아키텍처 탐색 후 별도의 재학습이 필요한 두 단계 NAS 방법의 비효율성과 낮은 일반화 성능을 해결하기 위해.
• 아키텍처와 파라미터를 동시에 학습하여 바로 배포 가능한 모델을 생성하는 종단 간 최적화 문제로 NAS를 재정의하기 위해.
• 다른 학습 설정으로 인해 탐색 단계와 재학습 단계의 성능 격차를 제거하기 위해.
• 기존 방법들인 SNAS와 ProxylessNAS와 같은 메모리 및 계산 오버헤드를 피하는 차별화 가능한 NAS 프레임워크를 개발하기 위해.

제안 방법

• DSNAS는 한 번의 역전파 루프 내에서 아키텍처와 네트워크 파라미터를 동시에 최적화하는 차별화 가능한 탐색 전략을 도입한다.
• 이 프레임워크는 이산적인 아키텍처 선택을 위한 기울기 추정을 위해 저편향 몬테카를로 추정기를 사용하여 최적화 과정의 분산과 편향을 감소시킨다.
• SNAS와 달리 학습 중 전체 부모 네트워크를 저장하지 않아 메모리 사용을 크게 줄인다.
• 프록시 모델이나 다중 학습 단계 없이 단일 경로 샘플링 기반 메커니즘을 사용해 효율적으로 자식 네트워크를 샘플링하고 학습한다.
• 아키텍처 탐색은 목표 작업에서 종단 간으로 수행되며 별도의 재학습 단계가 없다.
• 유지보수 없는 추가 파라미터 보정 없이 유도된 하위 네트워크를 직접 배포할 수 있다.

Figure 1: Projecting from the architecture space $\mathcal{A}$ to the network space $\mathcal{N}(\theta)$ with different parameter training schemes in searching and retraining results in accuracy with low correlation.

실험 결과

연구 질문

• RQ1 차별화 가능한 NAS 프레임워크가 아키텍처 탐색 후 별도의 재학습 단계 없이 높은 성능을 달성할 수 있는가?
• RQ2 탐색 시간 동안의 성능와 재학습 시간 동안의 성능 간 상관관계는 두 단계 NAS 방법의 타당성에 어떤 영향을 미치는가?
• RQ3 단일 단계, 종단 간 NAS 프레임워크가 정확도와 총 계산 비용 측면에서 기존의 두 단계 및 원샷 방법을 초월할 수 있는가?
• RQ4 기울기 추정의 편향과 분산은 차별화 가능한 NAS의 효율성과 안정성에 어떤 영향을 미치는가?
• RQ5 높은 탐색 정확도를 유지하면서 차별화 가능한 NAS에서 메모리 및 계산 오버헤드를 최소화할 수 있는 방법은 무엇인가?

주요 결과

• DSNAS는 단지 420 GPU 시간 내에 ImageNet에서 74.4%의 top-1 정확도를 달성하여 두 단계 방법 대비 총 시간을 34% 이상 감소시켰다.
• 이 프레임워크는 재학습 없이 바로 배포 가능한 모델을 발견하여 별도의 평가 단계가 필요 없게 되었다.
• DSNAS는 SNAS보다 5배 빠르고 ProxylessNAS보다 2배 빠른 에포크당 학습 시간을 기록했으며, 메모리 소비도 크게 감소했다.
• 최종 모델의 성능가 탐색 시간 동안의 성능 간 강한 상관관계를 보이며 종단 간 접근의 타당성을 입증했다.
• 균일한 사전 분포를 사용해도 여전히 74.3%의 높은 정확도(최상위 1위)를 유지하여 사전 선택에 대한 강건성을 보였다.
• 324M FLOPS로도 MobileNet과 ShuffleNet과 유사한 경쟁력 있는 성능를 달성했으며, 완전히 자동화되고 종단 간으로 작동한다.

Figure 2: Forward and backward on SNAS, ProxylessNAS and DSNAS. Blue lumps stand for feature maps, orange ones for operation candidates. Blue arrow lines indicate forward data flows, purple dashed lines indicate backward ones. Semi-transparent lumps stand for parent networks that are not instantiate