[논문 리뷰] MONAS: Multi-Objective Neural Architecture Search using Reinforcement Learning

Chi-Hung Hsu, Shih-Chieh Chang외 8명|arXiv (Cornell University)|2018. 06. 27.

Adversarial Robustness in Machine Learning참고 문헌 11인용 수 150

한 줄 요약

MONAS는 강화 학습을 사용하여 정확도와 전력 소모와 같은 다른 목표를 균형 있게 추구하는 신경망 아키텍처를 탐색하며, MONAS-S는 확장성을 위해 가중치 공유를 도입한다.

ABSTRACT

Recent studies on neural architecture search have shown that automatically designed neural networks perform as good as expert-crafted architectures. While most existing works aim at finding architectures that optimize the prediction accuracy, these architectures may have complexity and is therefore not suitable being deployed on certain computing environment (e.g., with limited power budgets). We propose MONAS, a framework for Multi-Objective Neural Architectural Search that employs reward functions considering both prediction accuracy and other important objectives (e.g., power consumption) when searching for neural network architectures. Experimental results showed that, compared to the state-ofthe-arts, models found by MONAS achieve comparable or better classification accuracy on computer vision applications, while satisfying the additional objectives such as peak power.

연구 동기 및 목표

• 자동으로 신경망 아키텍처 검색을 촉진하여 예측 정확도와 전력 소모와 같은 자원 관련 목표 간의 균형을 맞춘다.
• 다중 목표를 검색 프로세스에 포함하는 강화 학습 기반 프레임워크 MONAS를 제안한다.
• 애플리케이션별 제약에 대한 적응성을 보여주고 MONAS를 AlexNet-like 및 CondenseNet-like 모델 패밀리에 적용한다.
• 더 큰 탐색 공간을 처리하기 위한 가중치 공유를 사용하는 확장형 MONAS-S를 도입한다.

제안 방법

• 타깃 CNN의 하이퍼파라미터를 생성하기 위해 하나 층의 LSTM 기반 로봇 네트워크(RNN)를 컨트롤러로 사용한다.
• 생성된 하이퍼파라미터로 타깃 네트워크를 학습시키고, 검증 정확도와 전력 소비를 컨트롤러의 보상으로 활용한다.
• 정책 기울기 강화 학습을 적용하여 컨트롤러 파라미터를 업데이트하고, 보상은 정확도와 에너지(또는 다른 제약)를 결합한다.
• 다양한 최적화 목표를 실현하기 위한 다중 보상 함수를 정의하여 혼합 정확도-에너지 트레이드오프 및 제약 기반 보상을 포함한다.
• CONMONAS를 MONAS-S로 확장하여 가중치 공유 탐색(DAG)을 채택해 공유 가중치를 사전 학습하고 매우 큰 공간에서 탐색 속도를 높인다.
• GPU 프로파일링(피크/평균 전력)과 MAC 연산을 통해 에너지 및 계산 비용을 추정하여 보상을 측정한다.

Figure 1: RNN workflow for AlexNet and CondenseNet

실험 결과

연구 질문

• RQ1 MONAS가 서로 다른 다중 목표 보상 함수와 제약에 적응할 수 있는가?
• RQ2 MONAS가 어떻게 전력 또는 정확도 제약을 만족하는 영역으로 탐색을 효율적으로 이끄는가?
• RQ3 Pareto 프런티어가 서로 다른 보상 구성에서 어떻게 변하는가?
• RQ4 다중 목표 목표에서 상태-의 최적에 근접한 아키텍처를 MONAS가 발견할 수 있는가?
• RQ5 MONAS-S가 매우 큰 탐색 공간에서도 에너지 인식 목표를 유지하며 확장 가능한가?

주요 결과

• MONAS는 제약을 충족하는 아키텍처로의 탐색을 무작위 탐색보다 더 효율적으로 이끈다.
• 혼합 보상의 서로 다른 alpha 설정은 탐색을 더 높은 정확도나 더 낮은 에너지 쪽으로 이끌어 컨트롤 가능한 트레이드오프를 보여준다.
• MONAS는 Pareto 프런티어에서 CondenseNet 벤치마크를 정확도와 에너지 효율성 면에서 능가할 수 있는 아키텍처를 발견한다.
• MONAS-S는 매우 큰 탐색 공간(예: 1.6e29 가능성)에 확장 가능하며 더 낮은 MAC 연산으로 편향되면서도 정확도를 유지한다.
• ENAS와 비교했을 때 MONAS-S는 낮은 MAC 연산을 가지는 대상 네트워크를 생성하고 계층별 동작 분포가 우수하다.

(a) Random Search