[논문 리뷰] Efficient Multi-objective Neural Architecture Search via Lamarckian Evolution

Thomas Elsken, Jan Hendrik Metzen외 1명|arXiv (Cornell University)|2018. 04. 24.

Evolutionary Algorithms and Applications참고 문헌 46인용 수 66

한 줄 요약

tldr: LEMONADE는 Lamarckian 상속과 네트워크 모orphism을 사용하여 다중 목표(예: 정확도와 자원)를 함께 최적화하는 신경망 아키텍처를 위한 진화적 탐색 알고리즘으로, 큰 공간을 효과적으로 탐색하고 단일 실행에서 파레토 전선을 근사합니다.

ABSTRACT

Neural Architecture Search aims at automatically finding neural architectures that are competitive with architectures designed by human experts. While recent approaches have achieved state-of-the-art predictive performance for image recognition, they are problematic under resource constraints for two reasons: (1)the neural architectures found are solely optimized for high predictive performance, without penalizing excessive resource consumption, (2) most architecture search methods require vast computational resources. We address the first shortcoming by proposing LEMONADE, an evolutionary algorithm for multi-objective architecture search that allows approximating the entire Pareto-front of architectures under multiple objectives, such as predictive performance and number of parameters, in a single run of the method. We address the second shortcoming by proposing a Lamarckian inheritance mechanism for LEMONADE which generates children networks that are warmstarted with the predictive performance of their trained parents. This is accomplished by using (approximate) network morphism operators for generating children. The combination of these two contributions allows finding models that are on par or even outperform both hand-crafted as well as automatically-designed networks.

연구 동기 및 목표

• 자원 제약(예: 모델 크기, FLOPs, 추론 시간) 하에서 자동 NAS의 필요성을 동기 부여하고 해결합니다.
• 한 번의 실행에서 전체 파레토 전선을 근사할 수 있는 다목적 진화적 방법을 개발합니다.
• 함수 보존 및 근사 네트워크 모orphism을 활용하여 새로운 자식을 워밍업 시켜 각 아키텍처의 학습 비용을 줄입니다.

제안 방법

• 네트워크의 기능을 보존하며 변이시킬 수 있는 네트워크 모orphism을 도입합니다(예: Net2DeeperNet, 확장, 스킵 커넥션).
• 지식 증류 기반 초기화를 통해 아키텍처를 축소하거나 압축할 수 있는 근사 네트워크 모orphism(ANMs)으로 확장합니다.
• 저렴한 목표를 사용하여 개체군을 인도하고 비싼 목표로 작고 유망한 부분집합을 평가하는 두 단계 샘플링(두 단계 샘플링)을 사용하는 Lamarckian 진화 알고리즘 LEMONADE를 제안합니다.
• 저렴한 목표에 대해 커널 밀도 추정(KDE)을 사용하여 부모 선택 및 자식의 수락을 목표 공간에서 희소하게 분포된 영역으로 편향합니다.
• 복잡한 토폴로지와 스킵을 지원하는 공간에서 작동하여 전체 아키텍처 탐색과 셀 기반 탐색을 모두 가능하게 하고 다중 목표에 걸친 Pareto 전선을 보고합니다.

실험 결과

연구 질문

• RQ1 LEMONADE가 신경망 아키텍처 탐색에서 다중 목표의 파레토 전선을 효율적으로 근사할 수 있는가?
• RQ2 네트워크 모orphism을 통한 Lamarckian 상속 메커니즘이 부모가 학습한 가중치를 활용해 자식들을 워밍업시켜 탐색을 빠르게 하는가?
• RQ3 제약 없는 탐색 공간과 다른 데이터세트로의 전이(예: CIFAR-10에서 ImageNet64x64로)에서 LEMONADE의 성능은 어떤가?
• RQ4 다양한 자원 제약에서 발견된 아키텍처가 수작업 설계 및 다른 NAS 방법과 얼마나 경쟁적인가?

주요 결과

Method	Params	Error (%)
DPP-Net	0.5M	4.62
LEMONADE	0.5M	4.57
DPP-Net	1.0M	4.78
LEMONADE	1.1M	3.69
NASNet	3.3M	2.65
ENAS	4.6M	2.89
PLNT	5.7M	2.49
LEMONADE	4.7M	3.05
DPP-Net	11.4M	4.36
PLNT	14.3M	2.30
LEMONADE	13.1M	2.58

• LEMONADE는 수작업으로 설계된 네트워크(예: MobileNetV2)와 훨씬 더 많은 자원을 사용해 학습된 모델과 경쟁적인 아키텍처를 발견합니다.
• 방법은 CIFAR-10에서 약 5일 동안 16 GPUs로 약 300개의 파레토 전선을 발견했고, 매개변수 수가 10k에서 10M에 이르는 wide 범위를 포괄합니다.
• NASNet 및 MobileNetV2와 비교하여 LEMONADE는 추론 시간과 자원 사용에서 유리한 트레이드오프를 달성하며, 10만 개 미만 매개변수를 가진 매우 효율적인 모델도 포함합니다.
• CIFAR-10 및 전이 설정에서 LEMONADE의 셀은 ImageNet64x64로의 전이에서도 NASNets, WRNs, MobileNets V2 등의 기준선을 넓은 매개변수 범위에 걸쳐 능가합니다.
• ImageNet 모바일 환경에서 LEMONADE가 발견한 셀은 다소 적은 계산 자원으로도 최첨단 NAS 방법과 비교해도 경쟁력 있는 top-1/top-5 오차를 달성했습니다.