[논문 리뷰] DQNAS: Neural Architecture Search using Reinforcement Learning

Anshumaan Chauhan, Siddhartha Bhattacharyya외 1명|arXiv (Cornell University)|2023. 01. 17.

Advanced Neural Network Applications인용 수 4

한 줄 요약

DQNAS는 복잡한 신경망 설계를 자동화하고 계산 비용을 줄이기 위해 딥 Q러닝과 온샷 학습을 활용한 강화학습 기반 신경망 아키텍처 탐색 프레임워크를 제안한다. 이 방법은 기존의 강화학습 기반 NAS 접근 방식에 비해 확장성과 성능을 크게 향상시키며, CIFAR-10과 ImageNet-1K에서 뛰어난 정확도를 달성한다.

ABSTRACT

Convolutional Neural Networks have been used in a variety of image related applications after their rise in popularity due to ImageNet competition. Convolutional Neural Networks have shown remarkable results in applications including face recognition, moving target detection and tracking, classification of food based on the calorie content and many more. Designing of Convolutional Neural Networks requires experts having a cross domain knowledge and it is laborious, which requires a lot of time for testing different values for different hyperparameter along with the consideration of different configurations of existing architectures. Neural Architecture Search is an automated way of generating Neural Network architectures which saves researchers from all the brute-force testing trouble, but with the drawback of consuming a lot of computational resources for a prolonged period. In this paper, we propose an automated Neural Architecture Search framework DQNAS, guided by the principles of Reinforcement Learning along with One-shot Training which aims to generate neural network architectures that show superior performance and have minimum scalability problem.

연구 동기 및 목표

• 기존의 강화학습 기반 신경망 아키텍처 탐색(NAS) 방법이 가지는 높은 계산 비용과 확장성 문제를 해결하기 위해.
• 광범위한 초모수 조정이나 전문 지식 없이도 컨볼루션 신경망 아키텍처의 설계를 자동화하기 위해.
• 더 빠른 보상 추정을 위해 온샷 학습을 딥 Q러닝과 통합하여 탐색 효율성을 향상시키기 위해.
• 최소한의 자원 소비로 표준 벤치마크인 CIFAR-10과 ImageNet-1K에서 최신 기술 수준의 성능을 달성하기 위해.
• 강화학습 기반 가이드라인에 따라 엔드 투 엔드 자동화를 통해 수동 아키텍처 탐색에 소요되는 시간과 노력을 줄이기 위해.

제안 방법

• 프레임워크는 아키텍처 탐색을 순차적 의사결정 과정으로 모델링하기 위해 딥 Q러닝(DQN)을 사용하며, 각 행동은 레이어 구성 선택에 해당한다.
• 한 번의 슈퍼넷 학습을 통해 개별 아키텍처의 가중치를 추출함으로써 후보 아키텍처를 신속하게 평가하기 위해 온샷 학습을 사용하여 훈련 시간을 크게 단축시킨다.
• 에이전트는 Q값 추정에 기반해 각 레이어에 대해 연산(예: 딥웨이즈 분리형 컨볼루션, 풀링 등)을 선택함으로써 탐색 공간을 탐색한다.
• 보상 신호는 온샷 학습된 아키텍처의 검증 정확도에서 유도되며, 정책 향상을 위한 피드백을 제공한다.
• 표준 DQN 기법을 따르며, 경험 재생과 타겟 네트워크를 사용하여 탐색 정책을 업데이트함으로써 학습 안정성을 확보한다.
• 충분한 학습 에피소드 후 예측된 최고의 Q값을 기반으로 최종 아키텍처를 선택한다.

실험 결과

연구 질문

• RQ1 딥 Q러닝이 높은 성능과 낮은 계산 비용을 유지하면서 신경망 아키텍처 탐색을 효과적으로 이끄는 데에 적합한가?
• RQ2 온샷 학습은 정확도를 희생시키지 않고 강화학습 기반 NAS의 효율성을 어떻게 향상시키는가?
• RQ3 표준 벤치마크에서 기존의 RL 기반 NAS 방법에 비해 DQNAS는 정확도와 확장성 측면에서 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 제안된 방법은 최소한의 인간 간섭으로 높은 성능의 아키텍처를 발견할 수 있는가?
• RQ5 DQN과 온샷 학습의 통합은 수렴 속도와 탐색 공간 탐색에 어떤 영향을 미치는가?

주요 결과

• DQNAS는 유사한 탐색 예산 제약 조건 하에서 CIFAR-10에서 상위-1 테스트 정확도 97.4%를 달성하며, 이는 이전의 RL 기반 NAS 방법을 능가한다.
• ImageNet-1K에서 DQNAS는 상위-1 정확도 78.9%를 기록하여 강력한 일반화 능력과 최신 기술 수준의 NAS 접근 방식과 경쟁 가능한 성능을 보였다.
• 온샷 학습을 활용함으로써 표준 RL 기반 NAS 대비 아키텍처당 평균 탐색 시간을 80% 이상 단축시켰다.
• DQN에서 경험 재생과 타겟 네트워크의 사용은 학습 안정성을 향상시키고 아키텍처 탐색 중 수렴 속도를 빠르게 했다.
• DQNAS는 다수의 탐색 런에서 일관된 성능을 보이며, 초모수 설정에 대한 민감도가 낮고 안정성을 입증했다.
• 낮은 파라미터 수와 FLOPs로도 높은 정확도를 유지하는 효율적인 아키텍처를 성공적으로 발견함으로써, 확장성의 가능성을 확인했다.