[논문 리뷰] Dynamic Distribution Pruning for Efficient Network Architecture Search

Xiawu Zheng, Rongrong Ji외 6명|arXiv (Cornell University)|2019. 05. 28.

Advanced Neural Network Applications참고 문헌 32인용 수 16

한 줄 요약

이 논문은 효율적인 신경망 아키텍처 탐색(NAS)을 위한 동적 분포 프루닝을 제안하며, 아키텍처에 대한 연합 범주형 분포를 기반으로 반복적으로 탐색 공간을 프루닝하여 검색 과정을 가속화한다. 이 방법은 CIFAR-10에서 1.9%의 테스트 오차와 ImageNet에서 75.2%의 상위-1 정확도를 달성하여 최신 기술 수준(SOTA) 성능을 내는데, 각각 1.5 GPU 시간과 2 GPU 일의 검색 시간만을 소비한다. 이는 이전 방법 대비 1,000배 이상 빠른 속도 향상과 100%의 가속도를 의미한다.

ABSTRACT

Network architectures obtained by Neural Architecture Search (NAS) have shown state-of-the-art performance in various computer vision tasks. Despite the exciting progress, the computational complexity of the forward-backward propagation and the search process makes it difficult to apply NAS in practice. In particular, most previous methods require thousands of GPU days for the search process to converge. In this paper, we propose a dynamic distribution pruning method towards extremely efficient NAS, which samples architectures from a joint categorical distribution. The search space is dynamically pruned every a few epochs to update this distribution, and the optimal neural architecture is obtained when there is only one structure remained. We conduct experiments on two widely-used datasets in NAS. On CIFAR-10, the optimal structure obtained by our method achieves the state-of-the-art $1.9$\% test error, while the search process is more than $1,000$ times faster (only $1.5$ GPU hours on a Tesla V100) than the state-of-the-art NAS algorithms. On ImageNet, our model achieves 75.2\% top-1 accuracy under the MobileNet settings, with a time cost of only $2$ GPU days that is $100\%$ acceleration over the fastest NAS algorithm. The code is available at \url{ this https URL}

연구 동기 및 목표

• 기존 NAS 방법의 높은 계산 비용 문제를 해결하기 위해, 수천 개의 GPU 일 이상을 소모하는 데서 해방되도록 한다.
• 모델 성능을 유지하거나 향상시키면서도 검색 시간을 단축시키는 것을 목표로 한다.
• 성능 분포를 기반으로 탐색 공간을 동적으로 프루닝하여 수렴 속도를 가속화하는 방법을 개발한다.
• 학습 시간을 극적으로 단축시켜 실생활 응용에서의 NAS의 실용적 구현을 가능하게 한다.

제안 방법

• 해당 방법은 탐색 공간에 대한 연합 범주형 분포에서 아키텍처를 샘플링한다.
• 몇 개의 에포크마다, 샘플링된 아키텍처의 성능 분포를 기반으로 탐색 공간이 동적으로 프루닝된다.
• 프루닝 과정은 저성능 아키텍처 구성 요소를 제거하여 최적의 구조로 향하는 분포를 정교화한다.
• 최종적으로 한 개의 아키텍처만 남을 때까지 검색이 계속되며, 이 아키텍처가 최적의 아키텍처로 선택된다.
• 이 접근법은 분포에 대한 기울기 기반 업데이트를 활용하여 효율적인 탐색과 이용을 가능하게 한다.
• 별도의 검색 및 평가 단계 없이 종단 간(end-to-end)으로 적용된다.

실험 결과

연구 질문

• RQ1 우리가 NAS의 계산 비용을 크게 줄일 수 있을까? 이때 최신 기술 수준의 성능을 유지할 수 있을까?
• RQ2 성능 분포를 기반으로 한 탐색 공간의 동적 프루닝이 수렴 속도 향상에 얼마나 효과적인가?
• RQ3 제안된 방법이 검색 시간을 극적으로 단축시키면서도 CIFAR-10과 ImageNet에서 SOTA 정확도를 달성할 수 있는가?
• RQ4 제안된 프레임워크에서 검색 효율성과 모델 성능 간의 상호 교환 관계는 어떠한가?
• RQ5 고정된 탐색 공간 방법에 비해 동적 분포 프루닝은 수렴 속도와 정확도 측면에서 어떻게 비교되는가?

주요 결과

• CIFAR-10에서 이 방법은 단지 1.5 GPU 시간의 검색 시간으로 최신 기술 수준인 1.9%의 테스트 오차를 달성하였으며, 이는 이전 NAS 방법 대비 1,000배 이상의 속도 향상이다.
• MobileNet 설정 하에 ImageNet에서 이 방법은 단지 2 GPU 일의 검색 시간으로 75.2%의 상위-1 정확도를 달성하였으며, 이는 기존에서 가장 빠른 NAS 알고리즘보다 100% 더 빠른 속도이다.
• 저성능 아키텍처의 동적 프루닝 덕분에 탐색 과정이 급속하게 수렴하며, 시간이 지남에 따라 효과적인 탐색 공간이 점차 줄어든다.
• 이 방법은 계산 비용을 극적으로 줄이면서도 높은 정확도를 유지하여 강력한 효율-정확도 트레이드오프를 보여준다.
• 코드는 공개되어 있어 재현성과 효율적인 NAS 분야의 추가 연구를 가능하게 한다.