[논문 리뷰] Improving Neural Architecture Search Image Classifiers via Ensemble Learning

V. Macko, Charles Weill외 2명|arXiv (Cornell University)|2019. 03. 14.

Advanced Neural Network Applications참고 문헌 17인용 수 9

한 줄 요약

이 논문은 적응형 지식 전이와 가중치가 부여된 앙상블 평균화를 사용하여 순차적으로 훈련된 소규모 하위망의 앙상블을 구성함으로써 이미지 분류기 성능을 햖थ기다. AdaNAS는 추가적인 데이터 증강 없이도 CIFAR-100에서 14.58% 오차를 기록하며 최신 기술 성능을 달성하며, 단일 타워 아키텍처와 이전 NAS 방법을 능가한다. 파rameter 예산은 33M에 불과하다.

ABSTRACT

Finding the best neural network architecture requires significant time, resources, and human expertise. These challenges are partially addressed by neural architecture search (NAS) which is able to find the best convolutional layer or cell that is then used as a building block for the network. However, once a good building block is found, manual design is still required to assemble the final architecture as a combination of multiple blocks under a predefined parameter budget constraint. A common solution is to stack these blocks into a single tower and adjust the width and depth to fill the parameter budget. However, these single tower architectures may not be optimal. Instead, in this paper we present the AdaNAS algorithm, that uses ensemble techniques to compose a neural network as an ensemble of smaller networks automatically. Additionally, we introduce a novel technique based on knowledge distillation to iteratively train the smaller networks using the previous ensemble as a teacher. Our experiments demonstrate that ensembles of networks improve accuracy upon a single neural network while keeping the same number of parameters. Our models achieve comparable results with the state-of-the-art on CIFAR-10 and sets a new state-of-the-art on CIFAR-100.

연구 동기 및 목표

• 단일 타워 신경망 아키텍처의 한계를 해결하기 위해, 고품질의 빌딩 블록이 존재하더라도 파라미터 예산을 충분히 활용하지 못하는 문제를 다룬다.
• 동일한 파라미터 수를 가진 단일 대형 모델보다 더 작은 독립적으로 훈련된 하위망의 앙상블이 더 높은 정확도를 달성할 수 있는지 탐색한다.
• 반복적 훈련과 지식 전이를 활용하여 최소한의 인간 전문 지식으로 앙상블 구성 과정을 자동화한다.
• 이전 앙상블에서 지식 전이를 통해 순차적으로 하위망을 훈련하는 것이 독립적 훈련보다 최종 앙상블 성능을 향상시키는지 조사한다.
• 동일한 검색 공간 내에서도 다양한 데이터셋에 대해 다른 최적 아키텍처가 도출될 수 있음을 보여준다.

제안 방법

• AdaNAS는 NASNet 검색 공간에서 더 작은 아키텍처를 선택하고 훈련하여 반복적으로 하위망의 앙상블을 구성하는 동적 생성자(dynamic generator)를 사용한다.
• 각 반복 단계에서 이전 앙상블이 교사 모델이 되어 지식 전이를 통해 새로운 하위망을 훈련시킨다.
• 하나의 새로운 기법인 적응형 지식 전이(Adaptive Knowledge Distillation, AKD)를 도입하여, 앙상블에서 각 새로운 하위망으로 지식을 전이함으로써 훈련을 향상시킨다.
• 최종 앙상블은 학습 가능한 가중치 평균을 통해 예측을 결합하여, 더 정확한 하위망에 더 높은 중요도를 할당할 수 있도록 한다.
• 고정된 파라미터 예산 하에서 작동하며, 반복 과정에서 깊이와 너비를 동적으로 조정하여 정확도를 최대화한다.
• 이 프레임워크는 AdaNet 기반으로 구축되어 기존의 NAS 파ip라인과 통합 가능하며, 최소한의 하이퍼파ram터 조정으로 구현된다.

실험 결과

연구 질문

• RQ1 동일한 파라미터 수를 가진 더 작은 하위망의 앙상블이 단일 대형 모델보다 더 높은 정확도를 달성할 수 있는가?
• RQ2 이전 앙상블에서 지식 전이를 통해 순차적으로 하위망을 훈련하는 것이 독립적 훈련보다 최종 성능을 향상시키는가?
• RQ3 동적 생성자를 사용하여 최소한의 인간 간섭으로 앙상블 구성 과정을 자동화할 수 있는가?
• RQ4 동일한 검색 공간을 사용할 때, CIFAR-10과 CIFAR-100 간 최적 아키텍처는 어떻게 다를 수 있는가?
• RQ5 적응형 지식 전이와 학습 가능한 혼합 가중치가 앙상블 정확도를 추가로 향상시킬 수 있는가?

주요 결과

• CIFAR-10에서 AdaNAS는 33M 파라미터만을 사용함에도 불구하고 테스트 오차 2.26%를 기록하여 AmoebaNet과 NAONet와 같은 최신 기술 모델과 경쟁 가능한 성능을 달성한다.
• CIFAR-100에서는 추가적인 데이터 증강 없이도 테스트 오차 14.58%로 새로운 최신 기술 성능을 수립하며, NASNet-A 및 이전 방법들을 능가한다.
• 알고리즘이 CIFAR-100에 대해 CIFAR-10보다 더 넓은 아키텍처를 지속적으로 선택하는 것으로 나타나, 동일한 검색 공간 내에서도 데이터셋에 따라 아키텍처 선호도가 다름을 시사한다.
• 적응형 지식 전이와 학습 가능한 혼합 가중치를 모두 사용할 경우 최고의 성능를 기록하여 반복적 지식 전이의 효과를 입증한다.
• 앙상블 방식은 병렬 추론을 가능하게 하여, 하위망을 독립적으로 훈련할 수 있어 훈련에서 배포까지의 월드클록 시간을 줄인다.
• 단일 타워 NASNet 아키텍처를 능가하며, 아키텍처 설계에 있어 훨씬 적은 인간 전문 지식으로도 근접한 최신 기술 성능을 달성한다.