[논문 리뷰] FNAS: Uncertainty-Aware Fast Neural Architecture Search

Jihao Liu, Ming Zhang외 5명|arXiv (Cornell University)|2021. 05. 25.

Advanced Neural Network Applications참고 문헌 42인용 수 5

한 줄 요약

FNAS는 세 가지 모듈인 불확실성 인식 비평가(UAC), 아키텍처 지식 풀(AKP), 아키텍처 경험 버퍼(AEB)를 도입함으로써 강화학습 기반 신경망 아키텍처 탐색(NAS)을 10배 빠르게 한다. 이들 모듈은 작업 간 및 탐색 프로세스 간 지식 전이를 가능하게 하여, ImageNet, 얼굴 인식, COCO 객체 검출에서 최신 기준 성능을 달성하면서도 GPU 시간을 20,000시간에서 2,000시간으로 감소시킨다.

ABSTRACT

Reinforcement learning (RL)-based neural architecture search (NAS) generally guarantees better convergence yet suffers from the requirement of huge computational resources compared with gradient-based approaches, due to the rollout bottleneck -- exhaustive training for each sampled generation on proxy tasks. In this paper, we propose a general pipeline to accelerate the convergence of the rollout process as well as the RL process in NAS. It is motivated by the interesting observation that both the architecture and the parameter knowledge can be transferred between different experiments and even different tasks. We first introduce an uncertainty-aware critic (value function) in Proximal Policy Optimization (PPO) to utilize the architecture knowledge in previous experiments, which stabilizes the training process and reduces the searching time by 4 times. Further, an architecture knowledge pool together with a block similarity function is proposed to utilize parameter knowledge and reduces the searching time by 2 times. It is the first to introduce block-level weight sharing in RLbased NAS. The block similarity function guarantees a 100% hitting ratio with strict fairness. Besides, we show that a simply designed off-policy correction factor used in "replay buffer" in RL optimization can further reduce half of the searching time. Experiments on the Mobile Neural Architecture Search (MNAS) search space show the proposed Fast Neural Architecture Search (FNAS) accelerates standard RL-based NAS process by ~10x (e.g. ~256 2x2 TPUv2 x days / 20,000 GPU x hour -> 2,000 GPU x hour for MNAS), and guarantees better performance on various vision tasks.

연구 동기 및 목표

• 강화학습 기반 신경망 아키텍처 탐색(NAS)의 높은 계산 비용 문제를 해결하기 위해, 일반적으로 샘플링된 아키텍처의 완전한 훈련으로 인해 20,000 GPU 시간이 소요되는 문제를 해결한다.
• 이전 탐색 프로세스에서 유래한 이식 가능한 지식을 활용하여 강화학습 기반 NAS의 샘플 효율성과 훈련 속도를 향상시킨다.
• 다른 작업과 탐색 설정 간 아키텍처 및 파라미터 지식을 재사용하여 수렴 속도를 빠르게 하고 성능을 향상시킨다.
• 아키텍처 및 파라미터 기반 지식 전이가 NAS에서 검색 시간을 크게 줄일 수 있으며 정확도를 손상시키지 않음을 입증한다.

제안 방법

• 확률적 정책 최적화(PPO)에 불확실성 인식 비평가(UAC)를 도입하여 아키텍처-성능 연관 분포를 불확실성 추정과 함께 모델링함으로써, 훈련 안정성을 향상시키고 필요한 샘플 수를 50% 감소시킨다.
• 이전 훈련 체크포인트에서 추출한 블록 수준의 가중치를 저장하는 아키텍처 지식 풀(AKP)을 제안하며, 블록 유사도 함수를 활용해 새로운 아키텍처를 초기화함으로써 수렴 속도를 약 2배로 높인다.
• 이전에 훈련된 모델을 저장하고 재사용하는 아키텍처 경험 버퍼(AEB)를 활용하며, 이는 이완정책 보정 요소를 적용하여 효율적인 경험 재사용을 통해 검색 시간을 절반으로 줄인다.
• ImageNet, COCO, 얼굴 인식 데이터셋에서 직접 검색할 수 있도록 다목적 보상 함수를 사용하여, 정렬 없이도 종단 간 성능 평가를 가능하게 한다.
• 한 작업(예: 얼굴 인식)에서 얻은 지식으로 UAC와 AKP를 초기화하여 다른 작업(예: ImageNet)에서의 검색을 가속화함으로써, 작업 간 지식 전이의 가능성을 입증한다.
• UAC, AKP, AEB의 세 모듈을 통합하여 전체 NAS 파이프라인에서 10배의 속도 향상을 달성하면서도 최종 모델 정확도를 유지하거나 향상시킨다.

실험 결과

연구 질문

• RQ1 불확실성 인식 가치 함수는 강화학습 기반 신경망 아키텍처 탐색에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 이전 탐색 프로세스에서 유도된 블록 수준의 파라미터 지식은 새로운 아키텍처의 수렴 속도를 가속화하는 데 재사용될 수 있는가?
• RQ3 보정 요소가 포함된 이완정책 경험 재사용은 NAS에서 필요한 훈련 에포크 수를 줄일 수 있는가?
• RQ4 한 탐색 프로세스에서 유도된 지식(예: 얼굴 인식)이 다른 작업(예: ImageNet)에서의 검색을 얼마나 빠르게 가속화할 수 있는가?
• RQ5 여러 가지 지식 전이 메커니즘의 통합은 성능 저하 없이 강화학습 기반 NAS에서 10배의 속도 향상을 이끌 수 있는가?

주요 결과

• FNAS는 Mobile NAS 검색 공간에서 기준 MNAS의 20,000 GPU 시간에서 2,000 GPU 시간으로 검색 시간을 10배 단축시켰다.
• 85M Multiply-Adds 조건에서 ImageNet에서의 상위-1 정확도가 66.25%로, MBv3를 초월하고 동일한 계산 제약 조건에서 EfficientNet-B0를 능가한다.
• 세부 얼굴 인식 작업에서 FNAS는 계산량을 24% 줄였음에도 불구하고 MBv2 대비 정확도를 4포인트 향상시켰다.
• 얼굴 인식 데이터에서 미사전학습된 UAC를 활용해 FNAS는 샘플의 25%만으로도 ImageNet에서 73.91%의 상위-1 정확도를 달성했으며, 기준보다 0.67% 높은 성능을 보였다.
• 얼굴 검색에서 유도된 AKP로 초기화한 FNAS는 샘플의 50%만으로도 ImageNet에서 75.22%의 상위-1 정확도를 달성했으며, 기준 대비 0.6%의 성능 향상을 보였다.
• 절단 실험 결과, UAC, AKP, AEB를 모두 통합할 경우 가장 높은 속도 향상(10배)과 최고의 성능를 기록했으며, 각 구성 요소가 독립적으로 효율성과 정확도 향상에 기여함을 확인했다.