[논문 리뷰] Efficient Multi-objective Neural Architecture Search via Lamarckian Evolution

Thomas Elsken, Jan Hendrik Metzen외 1명|arXiv (Cornell University)|2018. 04. 24.

Evolutionary Algorithms and Applications인용 수 214

한 줄 요약

LEMONADE는 Lamarckian 계승과 네트워크 모핑 및 근사 네트워크 모핑을 이용해 정확도와 자원 제약 사이의 파레토 프런트를 효율적으로 근사하는 진화적 다목적 신경망 아키텍처 검색 방법입니다.

ABSTRACT

Neural Architecture Search aims at automatically finding neural architectures that are competitive with architectures designed by human experts. While recent approaches have achieved state-of-the-art predictive performance for image recognition, they are problematic under resource constraints for two reasons: (1)the neural architectures found are solely optimized for high predictive performance, without penalizing excessive resource consumption, (2) most architecture search methods require vast computational resources. We address the first shortcoming by proposing LEMONADE, an evolutionary algorithm for multi-objective architecture search that allows approximating the entire Pareto-front of architectures under multiple objectives, such as predictive performance and number of parameters, in a single run of the method. We address the second shortcoming by proposing a Lamarckian inheritance mechanism for LEMONADE which generates children networks that are warmstarted with the predictive performance of their trained parents. This is accomplished by using (approximate) network morphism operators for generating children. The combination of these two contributions allows finding models that are on par or even outperform both hand-crafted as well as automatically-designed networks.

연구 동기 및 목표

• 다중 자원 및 정확도 목표 하에서 자동 신경망 아키텍처 검색을 동기 부여하기.
• 단일 해가 아닌 파레토 프런트를 반환하는 진화적 프레임워크를 제안하기.
• 자식 노드를 워밍업하기 위해 기능 보존 및 근사 연산자를 사용하여 계산을 줄이기.
• 복잡한 위상 구조와 스킵 연결을 포함한 임의의 탐색 공간 처리를 가능하게 하기.

제안 방법

• 네트워크 모핑을 사용하여 훈련된 성능을 보존하는 기능 보존 자식 네트워크를 생성하기(Net2DeeperNet, Net2WiderNet 개념).
• 성능 보존을 통해 지식 증류로 축소도 허용하는 근사 네트워크 모핑(ANM) 도입하기.
• LEMONADE를 개발하여 파레토 프런트에서 개체군을 유지하고 비싼 평가 전에 저비용 목표로 부모/자식 선택에 편향을 주는 진화 알고리즘.
• NM 및 ANM 연산자로 네트워크를 변이시키고 부모로부터 정보를 받아 초기화하는 Lamarckian 계승을 적용하여 자손 생성하기.
• 평가 구분: 저비용 목표(매개변수, FLOPs, 추론 시간)를 고주파 샘플링으로 최적화하고 비싼 목표(검증 정확도)는 더 드물게 최적화하여 다양한 파레토 프런트를 구성하기.
• 단일 트레이드오프가 아닌 파레토 프런트의 아키텍처 집합을 반환하고 셀 및 전체 아키텍처를 포함한 임의의 탐색 공간을 지원하기.

실험 결과

연구 질문

• RQ1 정확도와 자원 지표 전반에서 파레토 프런트를 효율적으로 근사하기 위해 다목적 NAS를 어떻게 구현할 수 있을까?
• RQ2 Lamarckian 계승을 통한 네트워크 모핑이 자식의 워밍업을 통해 NAS 속도를 높일 수 있을까?
• RQ3 제한 없는 탐색 공간과 매개변수, FLOPs, 추론 시간 등 서로 다른 목표에 대해 LEMONADE가 핸드 디자인된 방법이나 다른 NAS 방법과 비교해 얼마나 잘 작동하는가?

주요 결과

• LEMONADE는 16개의 GPU에서 5일 내에 다수의 목표 하에서 MobileNetV2 및 NASNet과 경쟁하는 아키텍처를 발견한다.
• 탐색은 10,000에서 10,000,000 매개변수에 걸친 파레토 프런트를 산출하고 기초 대비 추론 시간을 개선하는 경향을 보인다.
• CIFAR-10에서 LEMONADE은 여러 자원 의식적 제약에서 NASNet 및 MobileNetV2를 능가하거나 경쟁력이 있으며, 최첨단 다목적 방법과도 대등하거나 우수하다.
• GPU 80일을 사용한 경우, LEMONADE는 훨씬 더 많은 계산을 사용한 방법들과 비교해 경쟁력 있는 결과를 달성한다(Zoph 등, 20014와 비교).
• 전이된 셀을 ImageNet64x64 및 ImageNet 모바일 설정에 적용했으며, 전이 실험에서 셀들이 NASNet 및 MobileNet V2와 같은 기준선을 우위에 두었다.
• 표 1은 동일한 학습 조건에서 다양한 모델 크기에서 LEMONADE가 여러 NAS 방법과 비슷하거나 능가하는 성과를 보임을 보여준다.