[논문 리뷰] ModuleNet: Knowledge-inherited Neural Architecture Search

Yaran Chen, Ruiyuan Gao외 2명|arXiv (Cornell University)|2020. 04. 10.

Advanced Neural Network Applications참고 문헌 31인용 수 6

한 줄 요약

ModuleNet는 사전 훈련된 CNN을 파라미터를 유지하는 모듈로 분해하여 지식 기반을 구축하고, 재훈련 없이 NSGA-II를 통해 효율적인 아키텍처 탐색을 가능하게 하는 지식 유산 신경망 아키텍처 탐색 프레임워크를 제안한다. 이러한 모듈을 재조합함으로써 ModuleNet은 원래 아키텍처보다 CIFAR-10 및 CIFAR-100에서 뛰어난 성능을 달성하며, 유산된 아키텍처적 및 파라미터 지식이 탐색 효율성과 정확도를 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Although Neural Architecture Search (NAS) can bring improvement to deep models, they always neglect precious knowledge of existing models. The computation and time costing property in NAS also means that we should not start from scratch to search, but make every attempt to reuse the existing knowledge. In this paper, we discuss what kind of knowledge in a model can and should be used for new architecture design. Then, we propose a new NAS algorithm, namely ModuleNet, which can fully inherit knowledge from existing convolutional neural networks. To make full use of existing models, we decompose existing models into different extit{module}s which also keep their weights, consisting of a knowledge base. Then we sample and search for new architecture according to the knowledge base. Unlike previous search algorithms, and benefiting from inherited knowledge, our method is able to directly search for architectures in the macro space by NSGA-II algorithm without tuning parameters in these extit{module}s. Experiments show that our strategy can efficiently evaluate the performance of new architecture even without tuning weights in convolutional layers. With the help of knowledge we inherited, our search results can always achieve better performance on various datasets (CIFAR10, CIFAR100) over original architectures.

연구 동기 및 목표

• 기존 신경망 아키텍처 탐색(NAS) 방법이 초기 상태에서 시작함으로써 발생하는 비효율성과 지식 낭비 문제를 해결하기 위해.
• 기존 모델 아키텍처와 훈련된 파라미터가 어떻게 체계적으로 재사용되어 NAS의 효율성과 성능을 향상시킬 수 있는지 탐구하기 위해.
• 사전 훈련된 모델의 아키텍처적 및 파라미터 지식을 유지하여 직접 재조합할 수 있는 NAS 프레임워크를 개발하기 위해.
• 비파라미터 연결이 컨volution 레이어 파라미터 조정 없이도 성능 유지에 어떻게 기여하는지 평가하기 위해.
• 지식 유산 기반 탐색이 표준 NAS보다 정확도와 수렴 속도 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 기존 사전 훈련된 CNN을 재사용 가능한 모듈로 분해하면서도 훈련된 가중치를 유지하여 지식 기반을 구축한다.
• NSGA-II를 다중목표 진화 알고리즘으로 사용하여 컨볼루션 레이어 파라미터 조정 없이 모듈을 재조합함으로써 최적의 아키텍처를 탐색한다.
• 교차 및 변이 연산을 통해 모듈을 재구성함으로써 새로운 아키텍처를 구성하며, 원본 가중치를 유지하여 지식을 유지한다.
• 모듈 간 비파라미터 연결을 구현하여 학습 가능한 파라미터 수를 줄이고 검색 속도를 향상시키며, 1×1 컨볼루션을 피한다.
• 정밀 조정 없이도 성능을 반영하는 점수 식을 사용하여 후보 아키텍처를 평가하며, 유산된 지식에 의존한다.
• 세대 간 유전자 변화를 모니터링하여 검색의 안정성과 수렴성을 확보한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN 아키텍처와 그 훈련된 파라미터가 NAS의 효율성과 성능 향상에 효과적으로 재사용될 수 있는가?
• RQ2 모듈 분해를 통한 지식 유산이 NAS 알고리즘의 탐색 공간과 수렴에 어떤 영향을 미치는가?
• RQ3 NAS 동안 파라미터 연결 대비 비파라미터 연결이 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 제안된 지식 유산 기반 탐색이 표준 NAS에 비해 정확도와 검색 비용 측면에서 어느 정도 뛰어나게 되는가?
• RQ5 NSGA-II 기반 검색 전략은 모듈 기반 아키텍처 탐색에 적용되었을 때 안정적이고 확장 가능한가?

주요 결과

• ModuleNet은 유산한 아키텍처보다 CIFAR-10 및 CIFAR-100에서 더 뛰어난 성능을 달성하여 지식 재사용의 효과성을 입증한다.
• 비파라미터 연결의 사용은 성능 차이를 더 명확히 드러내며, 고성능 아키텍처에서 1×1 컨볼루션 기반 연결보다 뛰어난 결과를 도출한다.
• 몇 차례 반복 후 세대 간 유전자 변화가 안정화되어, 모듈 기반 탐색 공간에서 NSGA-II 알고리즘이 수렴함을 시사한다.
• 제안된 점수 식은 정밀 조정 없이도 정확한 성능 평가를 가능하게 하며, 지식 유산 기반 NAS에 대한 신뢰성을 입증한다.
• 검색 과정은 효율적이고 확장 가능하며, 아키텍처 평가 시 컨볼루션 레이어 재훈련이 필요하지 않다.
• 결과는 기존 모델의 아키텍처적 및 파라미터 지식이 NAS 결과에 크게 기여함을 확인한다.