[논문 리뷰] PC-DARTS: Partial Channel Connections for Memory-Efficient Differentiable Architecture Search.

Yuhui Xu, Lingxi Xie외 5명|arXiv (Cornell University)|2019. 07. 12.

Machine Learning and ELM인용 수 125

한 줄 요약

PC-DARTS는 슈퍼넷 내에서 채널의 부분 집합을 샘플링하여 메모리 효율적인 미분 가능 아키텍처 탐색 방법을 도입함으로써 계산의 중복을 줄임. 엣지 정규화를 적용하여 엣지 선택을 안정화함으로써 더 큰 배치 크기로 더 빠르고 안정적인 학습을 가능하게 하여, CIFAR-10에서 0.1 GPU일 내에 2.57%의 테스트 오차를 달성하고, ImageNet(모바일 설정)에서는 3.8 GPU일 내에 24.2%의 top-1 오차를 기록함.

ABSTRACT

Differentiable architecture search (DARTS) provided a fast solution in finding effective network architectures, but suffered from large memory and computing overheads in jointly training a super-net and search for an optimal architecture. In this paper, we present a novel approach, namely Partially-Connected DARTS, by sampling a small part of super-net to reduce the redundancy in network space, thereby performing a more efficient search without comprising the performance. In particular, we perform operation search in a subset of channels and leave the held out part unchanged. This strategy may suffer from an undesired inconsistency on selecting the edges of super-net caused by the sampling of different channels. We solve it by introducing edge normalization, which adds a new set of edge-level hyper-parameters during search to reduce uncertainty in search. Thanks to the reduced memory cost, PC-DARTS can be trained with a larger batch size and, consequently, enjoys both faster speed and higher training stability. Experimental results demonstrate the effectiveness of the proposed method. Specifically, we achieve an error rate of 2:57% on CIFAR10 within merely 0:1 GPU-days for architecture search, and a state-of-the-art top-1 error rate of 24:2% on ImageNet (under the mobile setting) within 3.8 GPU-days for search. We have made our code available: https://github.com/yuhuixu1993/PC-DARTS.

연구 동기 및 목표

• 표준 DARTS가 아키텍처 탐색 중에 높은 메모리 및 계산 비용을 유발하는 문제를 줄이기 위해.
• 슈퍼넷에서 채널의 부분 집합을 샘플링함으로써 발생하는 엣지 선택의 불안정성 문제를 해결하기 위해.
• 메모리 소비를 크게 줄이면서도 높은 탐색 성능를 유지하기 위해.
• 학습의 안정성과 속도를 향상시키기 위해 더 큰 배치 크기를 허용하기 위해.

제안 방법

• 탐색 단계 동안 슈퍼넷 내에서 채널의 부분 집합을 샘플링하여 중복성과 메모리 사용량을 줄임.
• 연산 탐색은 선택된 채널 부분 집합에서 수행되며, 나머지 채널은 특징 표현을 유지하기 위해 그대로 유지됨.
• 불확실성과 일관성 없는 아키텍처 탐색 결정을 줄이기 위해, 엣지 정규화를 엣지 수준의 학습 가능한 하이퍼파rameter 집합으로 도입함.
• 다양한 탐색 파라다임을 유지하되, 일부 채널에 대해서만 적용하여 성능을 훼손하지 않으면서도 효율성을 향상시킴.
• 메모리 사용량 감소로 인해 더 큰 배치 크기를 활용할 수 있게 되어, 학습 안정성과 수렴 속도 향상

실험 결과

연구 질문

• RQ1 슈퍼넷에서 채널의 부분 집합만 샘플링함으로써, 성능 저하 없이 미분 가능 아키텍처 탐색의 메모리 소비를 줄일 수 있는가?
• RQ2 탐색 중에 일부 채널만 사용할 경우 엣지 선택의 일관성 없는 문제를 어떻게 완화할 수 있는가?
• RQ3 부분 연결을 통한 탐색 공간 축소가 수렴 속도 향상과 학습 안정성 향상에 기여하는가?
• RQ4 PC-DARTS는 메모리 및 시간 제약 조건 하에서 CIFAR-10과 ImageNet과 같은 벤치마크 데이터셋에서 얼마나 높은 수준의 성능를 달성할 수 있는가?

주요 결과

• PC-DARTS는 탐색 시간이 0.1 GPU일에 불과한 조건에서 CIFAR-10에서 top-1 오차율 2.57%를 달성함.
• 모바일 설정에서 ImageNet을 대상으로 하였을 때, PC-DARTS는 탐색 시간 3.8 GPU일 내에 최신 기술 수준의 top-1 오차율 24.2%를 기록함.
• 메모리 사용량 감소로 인해 더 큰 배치 크기를 활용할 수 있게 되어, 더 빠른 학습과 향상된 안정성 확보.
• 엣지 정규화가 엣지 선택의 불확실성을 효과적으로 줄여, 부분 채널 샘플링에도 불구하고 탐색 일관성 향상.
• 표준 DARTS에 비해 계산 및 메모리 오버헤드를 크게 줄이면서도 높은 성능 유지