[논문 리뷰] Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation

Chunnan Wang, Hongzhi Wang외 2명|arXiv (Cornell University)|2020. 07. 06.

Advanced Multi-Objective Optimization Algorithms참고 문헌 35인용 수 4

한 줄 요약

이 논문은 검색 공간을 줄이고 다양한 유연한 네트워크 아키텍처를 가능하게 하면서도 높은 성능을 보이는 사전 발견된 셀 구조를 활용하는 다목적 신경망 아키텍처 탐색 방법인 MoARR를 제안한다. 이전 평가 데이터로부터 역방향 추천 모델을 적응적으로 학습함으로써 MoARR는 정확도가 높고 파라미터 수가 적은 파레토 최적 아키텍처를 높은 정확도로 효율적으로 식별한다. CIFAR-10에서 단 6 GPU 시간 내에 1.9% 오차율과 230만 개 파라미터를 달성하여 기존 최고 성능 기준을 초월한다.

ABSTRACT

The search space of neural architecture search (NAS) for convolutional neural network (CNN) is huge. To reduce searching cost, most NAS algorithms use fixed outer network level structure, and search the repeatable cell structure only. Such kind of fixed architecture performs well when enough cells and channels are used. However, when the architecture becomes more lightweight, the performance decreases significantly. To obtain better lightweight architectures, more flexible and diversified neural architectures are in demand, and more efficient methods should be designed for larger search space. Motivated by this, we propose MoARR algorithm, which utilizes the existing research results and historical information to quickly find architectures that are both lightweight and accurate. We use the discovered high-performance cells to construct network architectures. This method increases the network architecture diversity while also reduces the search space of cell structure design. In addition, we designs a novel multi-objective method to effectively analyze the historical evaluation information, so as to efficiently search for the Pareto optimal architectures with high accuracy and small parameter number. Experimental results show that our MoARR can achieve a powerful and lightweight model (with 1.9% error rate and 2.3M parameters) on CIFAR-10 in 6 GPU hours, which is better than the state-of-the-arts. The explored architecture is transferable to ImageNet and achieves 76.0% top-1 accuracy with 4.9M parameters.

연구 동기 및 목표

• NAS에서 고정된 외부 네트워크 아키텍처의 한계를 해결하여 경량화된 모델에서 성능 저하를 방지하기 위해.
• 크고 복잡한 검색 공간에서 검색 비용을 줄이고 아키텍처의 다양성과 유연성을 높이기 위해.
• 경량화된 CNN를 위한 정확도와 파라미터 수를 균형 잡는 효율적인 다목적 최적화 방법을 개발하기 위해.
• 기존에 고성능임이 입증된 셀 구조를 활용하여 검색 속도를 가속화하고 모델 품질을 향상시키기 위해.
• 이전 평가 데이터를 기반으로 학습하는 동적 추천 메커니즘을 설계하여 향후 아키텍처 선택을 안내하기 위해.

제안 방법

• 이 방법은 이전 NAS 연구에서 사전에 발견된 고성능 셀 구조를 재사용하여 유연한 네트워크 아키텍처를 구성한다.
• 이러한 방법은 역사적 평가 데이터를 활용해 역방향 추천 모델(RRModel)을 학습하는 새로운 다목적 최적화 알고리즘인 MoARR를 도입한다.
• RRModel은 아키텍처 인코딩, 정확도, 파라미터 수 간의 관계를 모델링하여 더 높은 정확도와 더 낮은 파라미터 수를 가진 아키텍처를 적응적으로 추천한다.
• MoARR는 추천된 아키텍처를 반복적으로 평가하며, 각 새로운 피드백을 바탕으로 RRModel을 개선함으로써 시간이 지남에 따라 추천 품질을 향상시킨다.
• 이 과정은 성능이 열 劣한 아키텍처를 피함으로써 불필요한 평가를 줄여 파레토 최적 해에의 수렴 속도를 가속화한다.
• 이 방법은 효율적이고 확장 가능하도록 설계되었으며, 평가 비용이 높은 다목적 NAS 문제에 특히 적합하다.

실험 결과

연구 질문

• RQ1 고성능 사전 발견 셀 구조를 재사용함으로써 신경망 아키텍처 탐색에서 검색 공간을 크게 줄이고 효율성을 향상시킬 수 있는가?
• RQ2 이력 평가 데이터를 효과적으로 활용하여 정확도는 높고 파라미터 수는 적은 파레토 최적 아키텍처로의 탐색을 이끌 수 있는가?
• RQ3 비용이 높은 평가 비용을 가진 NAS 환경에서, 적응형 역방향 추천 모델이 기존의 다목적 최적화 방법을 능가할 수 있는가?
• RQ4 다양한 셀 스택킹으로 인한 아키텍처 다양성이 경량 설정에서 모델 성능 향상에 어느 정도 기여하는가?
• RQ5 제안된 방법이 최소한의 컴퓨팅 자원으로 CIFAR-10 및 ImageNet과 같은 벤치마크 데이터셋에서 최고 성능을 달성할 수 있는가?

주요 결과

• MoARR는 CIFAR-10에서 오직 230만 개의 파라미터로 1.9% 오차율을 달성하여 기존 최고 성능 기준을 초월했다.
• 검색 과정에 필요한 GPU 시간은 단 6시간으로, 이는 이전 방법들에 비해 훨씬 낮은 학습 비용을 의미한다.
• 발견된 아키텍처는 ImageNet으로도 잘 전이되어 490만 개의 파라미터로 76.0%의 top-1 정확도를 달성했다.
• 이력 데이터를 기반으로 한 역방향 추천 모델의 사용으로 비효율적 평가 수가 감소하여 검색 효율성이 향상되었다.
• 아키텍처 다양성과 적응형 데이터 기반 추천의 조합으로 인해 이 방법은 뛰어난 성능을 보였다.
• 이 방법은 CNN을 초월해 GNN 및 RNN과 같은 다른 신경망 유형으로도 확장 가능하다.