[논문 리뷰] Reinforced Evolutionary Neural Architecture Search

Yukang Chen, Gaofeng Meng외 5명|arXiv (Cornell University)|2018. 08. 01.

Advanced Neural Network Applications참고 문헌 41인용 수 33

한 줄 요약

이 논문은 강화학습과 진화 알고리즘을 융합하여 아키텍처 진화를 안내하는 강화된 변형 컨트롤러를 도입한 효율적인 NAS 프레임워크인 강화된 진화 신경망 아키텍처 탐색(RENAS)을 제안한다. 이 방법은 빠르고 파라미터 효율적인 탐색을 가능하게 하여, ImageNet에서 75.7%의 top-1 정확도와 COCO 전학습 없이도 PASCAL VOC 세그멘테이션에서 75.83%의 mIOU를 달성하는 RENASNet이라는 모바일 최적화 아키텍처를 도출한다.

ABSTRACT

Neural Architecture Search (NAS) is an important yet challenging task in network design due to its high computational consumption. To address this issue, we propose the Reinforced Evolutionary Neural Architecture Search (RE- NAS), which is an evolutionary method with the reinforced mutation for NAS. Our method integrates reinforced mutation into an evolution algorithm for neural architecture exploration, in which a mutation controller is introduced to learn the effects of slight modifications and make mutation actions. The reinforced mutation controller guides the model population to evolve efficiently. Furthermore, as child models can inherit parameters from their parents during evolution, our method requires very limited computational resources. In experiments, we conduct the proposed search method on CIFAR-10 and obtain a powerful network architecture, RENASNet. This architecture achieves a competitive result on CIFAR-10. The explored network architecture is transferable to ImageNet and achieves a new state-of-the-art accuracy, i.e., 75.7% top-1 accuracy with 5.36M parameters on mobile ImageNet. We further test its performance on semantic segmentation with DeepLabv3 on the PASCAL VOC. RENASNet outperforms MobileNet-v1, MobileNet-v2 and NASNet. It achieves 75.83% mIOU without being pre-trained on COCO.

연구 동기 및 목표

• 특히 강화학습(RL)-기반 및 진화 알고리즘(EA)-기반 접근법에서 발생하는 높은 계산 비용과 비효율성을 해결한다.
• 랜덤 변형 대신 학습된 정책 기반의 변형 컨트롤러로 진화 기반 NAS의 효율성을 향상시킨다.
• 진화 과정에서 부모 모델에서 자식 모델로 파라미터를 전이함으로써 학습 비용을 줄이고 수렴 속도를 가속화한다.
• 이미지 분류 및 세그멘테이션과 같은 다양한 비전 작업에 잘 일반화되는 고성능의 모바일 친화적 아키텍처(RENASNet)를 발견한다.
• 동일한 탐색 공간에서 단일 RL 또는 EA 기반 방법에 비해 하이브리드 RL-EA 프레임워크가 검색 효율성과 최종 성능 면에서 뛰어나다는 것을 입증한다.

제안 방법

• 강화학습 기반의 변형 컨트롤러를 진화 알고리즘에 통합하여, 랜덤 변형 대신 학습된 적응형 동작으로 아키텍처 탐색을 안내한다.
• 현재 인구집단의 성능을 기반으로 아키텍처 연산을 인코딩하고 변형 동작을 예측하기 위해 이방향 RNN 컨트롤러를 사용한다.
• 진화 과정에서 부모 모델에서 자식 모델로 파라미터 유산을 가능하게 하여, 훈련 시간과 계산 비용을 크게 감소시킨다.
• 고성능 아키텍처를 선호하면서도 인구집단의 다양성을 유지하기 위해 토너먼트 선택을 적용한다.
• 검증 정확도를 보상 신호로 사용하여 정책 그래디언트를 통해 변형 컨트롤러를 훈련시켜 효과적인 수정 전략을 학습시킨다.
• 6개의 연산 선택지가 있는 통합 셀 기반 탐색 공간을 활용하여 다른 NAS 방법과의 비교를 단순화한다.

실험 결과

연구 질문

• RQ1 강화학습 기반 컨트롤러가 변형 동작을 안내함으로써 진화 기반 신경망 아키텍처 탐색의 효율성을 향상시킬 수 있는가?
• RQ2 제안된 RENAS 프레임워크는 순수 RL 기반 및 EA 기반 NAS 방법에 비해 검색 효율성과 최종 성능 면에서 어떻게 비교되는가?
• RQ3 발견된 아키텍처(RENASNet)가 이미지 분류 및 세그멘테이션과 같은 다양한 비전 작업에 얼마나 잘 일반화되는가?
• RQ4 부모에서 자식 모델로의 파라미터 유산이 NAS에서 계산 비용을 상당히 감소시키는가?
• RQ5 변형 컨트롤러에 이방향 RNN을 사용할 경우 단방향 RNN 대비 검색 성능에 어떤 영향을 미치는가?

주요 결과

• 동일한 탐색 공간에서 RENAS는 RL 기반 및 EA 기반 NAS 방법보다 1.5–2.0배 빠른 검색 속도를 기록하여 뛰어난 검색 효율성을 입증한다.
• RENASNet은 CIFAR-10에서 2.88% ± 0.02의 오차율을 기록하여 이미지 분류 성능이 뛰어나다.
• 모바일 ImageNet에서 RENASNet은 단지 5.36M 파라미터로 75.7%의 top-1 정확도를 달성하여 모바일 모델 분야에서 새로운 최고 기록을 수립한다.
• PASCAL VOC 2012 세그멘테이션에서 RENASNet은 COCO 전학습 없이도 75.83%의 mIOU를 기록하여, MobileNet-v1, MobileNet-v2 및 NASNet-A를 모두 능가한다.
• 절단 분석 결과, 이방향 RNN 컨트롤러(비교 대상은 단방향)가 더 뛰어난 성능을 내어 설계 선택의 타당성을 입증한다.
• COCO 전학습 없이도, ImageNet에서 훈련된 RENASNet은 COCO에서 사전학습된 MobileNet-v2 및 MobileNet-v1을 능가하며, 강력한 인도적 편향과 일반화 능력을 보여준다.