[논문 리뷰] MANAS: Multi-Agent Neural Architecture Search

Lopes, Vasco, Fabio Maria Carlucci외 7명|arXiv (Cornell University)|2019. 09. 03.

Reinforcement Learning in Robotics참고 문헌 35인용 수 19

한 줄 요약

MANAS는 신경망 아키텍처 탐색(NAS)를 위한 다중 에이전트 강화학습 프레임워크를 제안하며, 독립된 에이전트들 간에 검색 공간을 분해하여 각각 네트워크의 부분 집합을 최적화합니다. 신뢰도 할당과 온라인 학습 이론을 활용함으로써, DARTS 대비 1/8의 메모리와 70%의 탐색 시간을 사용하면서 CIFAR-10과 ImageNet에서 최신 기술 수준의 정확도를 달성하며, ImageNet과 같은 대규모 데이터셋에 직접 탐색을 가능하게 합니다.

ABSTRACT

The Neural Architecture Search (NAS) problem is typically formulated as a graph search problem where the goal is to learn the optimal operations over edges in order to maximise a graph-level global objective. Due to the large architecture parameter space, efficiency is a key bottleneck preventing NAS from its practical use. In this paper, we address the issue by framing NAS as a multi-agent problem where agents control a subset of the network and coordinate to reach optimal architectures. We provide two distinct lightweight implementations, with reduced memory requirements (1/8th of state-of-the-art), and performances above those of much more computationally expensive methods. Theoretically, we demonstrate vanishing regrets of the form O(sqrt(T)), with T being the total number of rounds. Finally, aware that random search is an, often ignored, effective baseline we perform additional experiments on 3 alternative datasets and 2 network configurations, and achieve favourable results in comparison.

연구 동기 및 목표

• 기존 NAS 방법의 높은 계산 및 메모리 비용, 특히 ImageNet과 같은 대규모 환경에서의 비용을 해결하기 위해.
• 통합 아키텍처 최적화에서 발생하는 조합 폭발 문제를 다중 에이전트에 의해 제어를 분산시킴으로써 극복하기 위해.
• 효율적인 탐색-실행 균형을 확보하기 위한 이론적으로 탄탄한 프레임워크를 제공하여 점차 감소하는 실수 보장(regret guarantee)을 제공하기 위해.
• 프록시 모델이나 가중치 공유 근사치 없이 최종 아키텍처에 직접 탐색을 가능하게 하기 위해.
• 정의된 평가 프로토콜에 따라 공정한 평가 조건에서 강력한 기준 모델들과 비교하여 MANAS의 실증적 성능을 검증하기 위해.

제안 방법

• 각 에이전트는 네트워크의 국소적 부분 집합(예: 단일 셀)을 제어하여, 에이전트당 검색 공간을 일정 크기로 축소합니다.
• 에이전트들은 명시적 협력 없이도 공동 손실 함수를 통해 암묵적으로 협력하며, 운영 품질에 대한 신뢰도 할당을 가능하게 합니다.
• 신뢰도 할당은 각 운영의 전체 손실에 기여도를 추정하는 학습된 가치 함수를 통해 수행됩니다.
• 두 가지 경량 구현 방식을 제안합니다: UCB 기반 탐색을 사용하는 다중 손잡이 랜덤 워크(arm) 기반 기반 및 연속적 리파라미터화를 사용하는 기울기 기반 최적화.
• 손실 함수를 수정하여 제약 조건(예: 추론 시간, 하이퍼파rameter λ를 통해)을 포함함으로써 다목적 탐색을 지원합니다.
• 이론적 분석을 통해 온라인 학습 조건 하에서 최적 아키텍처로 수렴함을 보장하는 순서 𝒪(√T의 점차 감소하는 실수 보장이 입증됩니다.

실험 결과

연구 질문

• RQ1 다중 에이전트 프레임워크는 메모리와 계산 비용을 줄이면서도 성능을 유지하거나 향상시키기 위해 NAS 검색 공간을 효과적으로 분해할 수 있는가?
• RQ2 제안된 신뢰도 할당 메커니즘은 명시적 통신이나 중심화된 평가자 없이도 에이전트 간의 효율적 협력을 가능하게 하는가?
• RQ3 MANAS는 DARTS와 같은 최신 기술 수준의 방법에 비해 상당히 감소된 메모리와 탐색 시간으로 CIFAR-10과 ImageNet에서 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ4 훈련 기법 편향을 제거한 공정한 평가 프로토콜 하에서 MANAS는 무작위 탐색과 무작위 샘플링에 비해 어떻게 성능을 발휘하는가?
• RQ5 손실 함수 수정을 통해 정확도와 추론 시간을 균형 잡는 다목적 NAS로 확장 가능할 수 있는가?

주요 결과

• MANAS는 동일한 평가 프로토콜 하에서 CIFAR-10에서 최신 기술 수준의 정확도 97.3%를 달성했으며, ImageNet에서는 23.5%의 top-1 오차를 기록하여 DARTS를 능가합니다.
• DARTS 대비 메모리 소비량을 1/8로 줄였고, 탐색 시간은 70%로 줄여 뚜렷한 효율성 향상을 보였습니다.
• MANAS는 DARTS 및 ProxylessNAS와 달리 프록시 모델 없이 ImageNet에 직접 탐색을 가능하게 하였습니다.
• 복잡도 제약 조건이 있는 세 개의 추가 데이터셋에서 MANAS는 경쟁 가능한 성능을 유지하여 다양한 환경에서의 강건성을 확인했습니다.
• 프레임워크는 정확도와 추론 시간을 효과적으로 균형 잡는데 성공했습니다: λ를 증가시킴으로써 추론 시간을 최대 30% 감소시키면서 정확도 하락은 최소한으로 유지하였습니다.
• 실증 결과는 무작위 탐색과 샘플링이 강력한 기준 모델임을 확인했지만, 조건이 제한된 계산 예산 하에서도 MANAS는 여전히 그들을 능가함을 보여주었습니다.