[논문 리뷰] IRLAS: Inverse Reinforcement Learning for Architecture Search

Minghao Guo, Zhao Zhong외 3명|arXiv (Cornell University)|2018. 12. 13.

Machine Learning in Materials Science참고 문헌 36인용 수 8

한 줄 요약

IRLAS는 전문가가 설계한 네트워크(예: ResNet)로부터 미러 자극 함수를 학습하여 신경망 아키텍처 탐색을 위상적으로 단순하고 효율적인 아키텍처로 이끌는 역강화학습 방법을 제안한다. 이 함수를 히وري스틱으로 삼아 역강화학습으로 훈련시킴으로써 에이전트는 탐색 공간을 효과적으로 탐색하면서도 인간이 영감을 얻은 위상적 특성을 선호하게 되어, CIFAR-10 및 ImageNet 모바일 설정에서 유의미하게 감소된 추론 지연으로 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

In this paper, we propose an inverse reinforcement learning method for architecture search (IRLAS), which trains an agent to learn to search network structures that are topologically inspired by human-designed network. Most existing architecture search approaches totally neglect the topological characteristics of architectures, which results in complicated architecture with a high inference latency. Motivated by the fact that human-designed networks are elegant in topology with a fast inference speed, we propose a mirror stimuli function inspired by biological cognition theory to extract the abstract topological knowledge of an expert human-design network (ResNeXt). To avoid raising a too strong prior over the search space, we introduce inverse reinforcement learning to train the mirror stimuli function and exploit it as a heuristic guidance for architecture search, easily generalized to different architecture search algorithms. On CIFAR-10, the best architecture searched by our proposed IRLAS achieves 2.60% error rate. For ImageNet mobile setting, our model achieves a state-of-the-art top-1 accuracy 75.28%, while being 2~4x faster than most auto-generated architectures. A fast version of this model achieves 10% faster than MobileNetV2, while maintaining a higher accuracy.

연구 동기 및 목표

• 기존 아키텍처 탐색 방법이 과도하게 복잡하고 느린 아키텍처를 생성하는 한계를 해결하기 위해 전문가가 설계한 네트워크로부터 위상 지식을 통합한다.
• 전문가의 아키텍처를 복제하지 않으면서도 일반적이고 제한적이지 않은 히وري스틱을 개발하여 위상적으로 우아하고 효율적인 아키텍처로 탐색을 이끌고자 한다.
• 생물학적 인지 원리에 기반한 미러 자극 함수를 역강화학습으로 훈련시켜 히وري스틱 보상으로 활용함으로써 탐색 효율성과 정확도를 향상시키고자 한다.
• 기존의 탐색 전략 및 탐색 공간 설계를 수정하지 않고도 다양한 탐색 알고리즘과 탐색 공간으로 일반화할 수 있도록 한다.

제안 방법

• ResNet과 같은 전문가 네트워크로부터 아키텍처 구성 요소에서 유도된 상태 특징 코드를 사용하여 추상적인 위상 표현을 추출할 수 있는 미러 자극 함수를 설계한다.
• 전문가 네트워크의 위상과 유사한 아키텍처를 장려하는 보상 신호를 학습함으로써, 이 함수를 역강화학습으로 훈련시킨다.
• 훈련된 미러 자극 함수는 아키텍처 탐색 중 히وري스틱 보상으로 작용하여 탐색을 단순하고 효율적인 구조로 이끌지만, 탐색을 과도하게 제약하지 않는다.
• 이 방법은 탐색 전략과 탐색 공간 설계와 수직적 관계를 가지며, BlockQNN 및 DARTS와 같은 기존 알고리즘과 쉽게 통합될 수 있다.
• 위상 유사도는 구조적 변화에 대한 특징 수준의 민감도를 통해 측정되어, 미러 자극 함수가 미세한 아키텍처 수정에 의미 있게 반응하도록 보장한다.
• 초기화 파라미터 λ는 위상 사전 지식의 강도를 제어하며, 정확도와 속도 사이의 균형을 고려해 λ = 30을 선택한다.

실험 결과

연구 질문

• RQ1 역강화학습이 전문가가 설계한 네트워크로부터 위상 지식을 효과적으로 추출하여 아키텍처 탐색을 이끌 수 있는가?
• RQ2 위상 지침을 통합할 경우 자동 생성된 아키텍처의 복잡성과 추론 효율성은 어떻게 영향을 받는가?
• RQ3 미러 자극 함수가 다양한 아키텍처 탐색 알고리즘과 탐색 공간으로 얼마나 잘 일반화되는가?
• RQ4 위상 사전 지식을 적용할 때 정확도와 추론 속도 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• CIFAR-10에서 IRLAS는 2.60%의 오차율을 기록하여 최신 기술 수준의 인간 설계 및 자동 생성 모델들과 경쟁 가능한 정확도를 확보하였다.
• ImageNet 모바일 설정에서 IRLAS는 최신 기술 수준의 상위-1 정확도 75.28%를 달성하였으며, 대부분의 자동 생성 아키텍처보다 2–4배 빠른 성능을 보였다.
• IRLAS 모델의 빠른 버전은 MobileNetV2보다 10% 더 빠르면서도 더 높은 정확도를 유지하여 효율성 향상을 입증하였다.
• 미러 자극 함수는 탐색 수렴 속도를 향상시켰으며, BlockQNN 및 DARTS 기반 실험 모두에서 더 빠른 수렴이 관찰되었다.
• λ = 30일 때 정확도와 속도 사이의 최적 균형을 확보하였고, λ = 60일 경우 과도한 위상 제약로 인해 정확도가 저하되었다.
• 미러 자극 함수를 사용해 탐색한 아키텍처는 그렇지 않은 경우보다 훨씬 단순하고 ResNet과 유사한 위상적 특성을 보였으며, 명확한 잔여 연결과 더 적은 부서진 연결을 포함하고 있었다.