[논문 리뷰] Evolutionary-Neural Hybrid Agents for Architecture Search

Krzysztof Maziarz, Tan, Mingxing외 3명|arXiv (Cornell University)|2018. 11. 24.

Evolutionary Algorithms and Applications참고 문헌 48인용 수 15

한 줄 요약

이 논문은 강화학습(RL)-기반 신경망 아키텍처 탐색과 유전적 알고리즘을 조합한 하이브리드 에이전트인 Evo-NAS를 소개한다. 이는 샘플 효율성과 성능을 향상시킨다. 신경 정책을 통해 유전적 돌연변이를 안내함으로써 Evo-NAS는 표준 RL 에이전트에 비해 1/3의 탐색 비용으로 이미지 및 텍스트 분류 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

Neural Architecture Search has shown potential to automate the design of neural networks. Deep Reinforcement Learning based agents can learn complex architectural patterns, as well as explore a vast and compositional search space. On the other hand, evolutionary algorithms offer higher sample efficiency, which is critical for such a resource intensive application. In order to capture the best of both worlds, we propose a class of Evolutionary-Neural hybrid agents (Evo-NAS). We show that the Evo-NAS agent outperforms both neural and evolutionary agents when applied to architecture search for a suite of text and image classification benchmarks. On a high-complexity architecture search space for image classification, the Evo-NAS agent surpasses the accuracy achieved by commonly used agents with only 1/3 of the search cost.

연구 동기 및 목표

• 순수한 강화학습(RL)-기반 신경망 아키텍처 탐색(NAS) 방법의 높은 계산 비용과 제한된 샘플 효율성 문제를 해결하기 위해.
• RL에서 학습된 패턴을 통합함으로써 순수한 유전적 알고리즘의 히ュ리스틱 기반 돌연변이 제약을 극복하기 위해.
• 신경망의 패턴 학습 능력과 유전 전략의 샘플 효율성을 결합한 하이브리드 에이전트를 개발하기 위해.
• 이미지 및 텍스트 분류 작업을 포함한 다양한 NAS 벤치마크에서 뛰어난 성능과 효율성을 입증하기 위해.
• 다양한 탐색 공간과 데이터셋에 적용 가능한 확장성 있고 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 강화학습을 통해 훈련된 신경 정책에 의해 유전적 돌연변이가 안내되는 유전 에이전트인 Evo-NAS를 제안한다.
• 신경망을 사용해 아키텍처 구성 요소에 대한 돌연변이 확률을 예측함으로써 탐색 공간의 패턴 기반 탐색을 가능하게 한다.
• 평가된 아키텍처의 성능 피드백을 기반으로 정책 그래เดียน트 방법(PQT 또는 REINFORCE)을 사용해 신경 컨트롤러를 최적화한다.
• 유전적 탐색과 학습된 정책을 통합: 각 세대는 RL로 훈련된 컨트롤러에 의해 안내된 돌연변이를 통해 자손을 생성한다.
• 탐색과 이용의 균형을 위해 고정된 인구 수(P=500)와 샘플 수(S=50)를 사용한 인구 기반 학습을 적용한다.
• 훈련 안정화와 하이퍼파ram터 탐색 안내를 위해 윈도우 크기가 50인 이동 평균 보상을 사용한다.

실험 결과

연구 질문

• RQ1 RL 기반 정책 학습과 유전적 돌연변이 전략을 조합한 하이브리드 에이전트가 신경망 아키텍처 탐색에서 더 높은 샘플 효율성과 성능을 달성할 수 있는가?
• RQ2 Evo-NAS는 다양한 이미지 및 텍스트 분류 벤치마크에서 순수한 RL 기반 에이전트와 순수한 유전 기반 에이전트에 비해 어떻게 성능을 냈는가?
• RQ3 신경 컨트롤러를 통해 돌연변이 패턴을 학습함으로써 탐색 비용을 얼마나 줄일 수 있으며, 정확도는 유지 또는 향상시키는가?
• RQ4 이 하이브리드 접근법은 고복잡도 이미지 분류 작업을 포함한 다양한 탐색 공간과 데이터셋으로 일반화되는가?
• RQ5 Evo-NAS 프레임워크에 최적의 하이퍼파ram터(예: 학습률, 엔트로피 페널티, 돌연변이 확률)는 무엇이며, 이들이 성능에 어떻게 영향을 미치는가?

주요 결과

• Evo-NAS는 이미지 및 텍스트 분류 벤치마크에서 순수한 RL 기반 및 순수한 유전 기반 에이전트를 모두 압도하며, 더 적은 탐색 시도로 더 높은 정확도를 달성한다.
• 고복잡도 이미지 분류 탐색 공간에서 Evo-NAS는 표준 RL 에이전트가 요구하는 1/3의 탐색 비용으로 최신 기술 성능을 달성한다.
• Evo-NAS는 NAS-Bench-101에서 뛰어난 성능을 보이며, 다양한 탐색 공간에서의 강건성과 일반화 능력을 입증한다.
• Evo-NAS의 최적화된 하이퍼파ram터는 돌연변이 확률 0.2, 학습률 5e-5(PQT용) 또는 2e-4(REINFORCE용), 엔트로피 페널티 0.01이다.
• 돌연변이를 안내하는 신경 정책의 사용은 무작위 또는 히ュ리스틱 기반 돌연변이 전략보다 더 효과적인 탐색을 이끈다.
• Evo-NAS 프레임워크는 강력한 확장성과 재현 가능성을 보이며, 다양한 데이터셋과 탐색 작업에서 일관된 성능 향상을 보인다.