[논문 리뷰] Efficient Forward Architecture Search

Hanzhang Hu, John Langford외 4명|arXiv (Cornell University)|2019. 05. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 9

한 줄 요약

이 논문은 중간층에서 기울기 부스팅 유사 업데이트를 사용해 단계적으로 숏컷 연결을 추가함으로써 신경망을 성장시키는 전방형 신경망 아키텍처 탐색(NAS) 알고리즘인 Petridish를 제안한다. 모든 후보 숏컷을 함께 훈련하고 L1 정규화를 적용해 선택함으로써, Petridish는 소수의 GPU 일수 내에 경쟁력 있는 성능을 달성한다—특히 웜스타트 및 라이프타임 학습 시나리오에서 뛰어난 성능을 보이며, 셀-서치 및 매크로-서치 설정 모두에서 최신 기술 수준의 결과를 달성하거나 초월한다.

ABSTRACT

We propose a neural architecture search (NAS) algorithm, Petridish, to iteratively add shortcut connections to existing network layers. The added shortcut connections effectively perform gradient boosting on the augmented layers. The proposed algorithm is motivated by the feature selection algorithm forward stage-wise linear regression, since we consider NAS as a generalization of feature selection for regression, where NAS selects shortcuts among layers instead of selecting features. In order to reduce the number of trials of possible connection combinations, we train jointly all possible connections at each stage of growth while leveraging feature selection techniques to choose a subset of them. We experimentally show this process to be an efficient forward architecture search algorithm that can find competitive models using few GPU days in both the search space of repeatable network modules (cell-search) and the space of general networks (macro-search). Petridish is particularly well-suited for warm-starting from existing models crucial for lifelong-learning scenarios.

연구 동기 및 목표

• 기존 NAS 방법들이 후보 아키텍처를 독립적으로 훈련하는 데 의존함에 따라 발생하는 높은 계산 비용과 비효율성을 해결하기 위해.
• 기존 모델에서부터 웜스타트 및 다시 시작하지 않고도 라이프타임 학습을 지원하는 효율적이고 점진적인 모델 확장 방식을 가능하게 하기 위해.
• 특징 선택에 영감을 받은 전방 탐색이 후방 또는 샘플링 기반 NAS 접근 방식과 동일하거나 더 효과적일 수 있음을 보여주기 위해.
• 일반적으로 셀-서치보다 열 劣한 것으로 여겨지는 매크로-서치가 효율적인 탐색 전략과 결합될 경우 경쟁력 있는 성능을 달성할 수 있음을 보여주기 위해.
• 희소성 유도 정규화를 통해 후보 연결의 공동 훈련을 활용해 탐색 시간을 단축하고 샘플 효율성을 향상시키기 위해.

제안 방법

• 알고리즘은 기존 레이어 간에 숏컷 연결을 추가함으로써 네트워크를 점진적으로 성장시킨다. 이는 전방 단계별 선형 회귀를 모방한다.
• 각 단계에서 모든 가능한 숏컷 연결을 공유 모델을 사용해 동시에 훈련함으로써 아키텍처 공간의 효율적 탐색이 가능하다.
• 후보 숏컷의 가중치에 L1 정규화를 적용해 희소성을 유도하고 가장 효과적인 연결을 선택한다.
• 이 방법은 LARS(Least-Angle Regression) 알고리즘에 영감을 받았으며, 중간 특징 레이어에 기울기 부스팅 원리를 적용한다.
• 이 접근 방식은 반복적으로 학습된 셀 패턴을 사용하는 셀-서치와 자유형 연결 패턴을 허용하는 매크로-서치를 모두 지원하며, 둘 다 일관된 성능을 보인다.
• 모든 후보 아키텍처의 결합을 동시에 훈련하기 위해 가중치 공유를 사용함으로써 각 후보를 별도로 훈련할 필요를 줄인다.

실험 결과

연구 질문

• RQ1 중간층에서 기울기 부스팅을 기반으로 한 전방 아키텍처 탐색 전략이 상당히 감소된 탐색 비용으로도 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 정확도와 효율성 측면에서 기존의 샘플링 기반 및 슈퍼그래프 기반 NAS 방법과 비교해 전방 NAS의 성능은 어떻게 되는가?
• RQ3 기존에 셀-서치보다 열 劣하다고 여겨졌던 매크로-서치가 효율적인 탐색 알고리즘과 결합될 경우 최신 기술 수준의 결과를 달성할 수 있는가?
• RQ4 초기 모델 품질이 탐색 과정의 최종 성능에 얼마나 큰 영향을 미치는가?
• RQ5 제안된 방법이 복잡도와 정확도가 다양한 다양한 모델 스펙트럼을 자연스럽게 생성할 수 있는가? 이는 라이프타임 학습 및 전이 학습에 적합한가?

주요 결과

• Petridish는 셀-서치에서 CIFAR-10에서 2.88%의 테스트 오차율을 기록했으며, 280만 파라미터와 10.5 GPU 일수를 사용해 기존 방법보다 비용 효율성이 뛰어나다.
• Petridish의 매크로-서치 변형은 ImageNet에서 430만 파라미터와 5.11억 개의 곱셈-덧셈 연산을 사용해 28.7%의 상위-1 오차율을 기록했으며, 최신 기술 수준의 수작업 설계 모델과 동일한 성능을 달성했다.
• 이전에 학습된 Petridish 셀-서치 모델을 전이 적용한 결과, ImageNet에서 480만 파라미터와 5.98억 개의 곱셈-덧셈 연산을 사용해 26.3%의 오차율을 기록했으며, 기존 최고 성능 결과와 유사했다.
• Petridish 셀-서치의 다수의 독립적인 탐색 런은 일관된 결과를 보였으며(평균 오차 2.88% ± 0.15), 무작위 초기화 및 하이퍼파라미터 변동에 대해 강건함을 입증했다.
• 알고리즘은 복잡도와 정확도가 다양한 다양한 모델의 집합을 발견하여, 다양한 하드웨어 제약 조건에 맞는 배포에 적합한 자연스러운 스펙트럼을 형성했다.
• NASNet과 AmoebaNet과 같은 이전 NAS 방법들은 각 아키텍처를 별도로 훈련하므로, Petridish는 이들보다 탐색 시간을 한두 수준 감소시켰다.