[논문 리뷰] Auto-Meta: Automated Gradient Based Meta Learner Search

Jaehong Kim, Sangyeul Lee외 7명|arXiv (Cornell University)|2018. 06. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 25

한 줄 요약

이 논문은 기울기 기반 메타러닝 기반의 최적의 딥 네ural 네트워크 아키텍처를 발견하기 위해 점진적 신경망 아키텍처 탐색(PNAS)을 적용하는 자동화된 신경망 아키텍처 탐색 프레임워크인 Auto-Meta를 제안한다. 기울기 기반 탐색을 통해 메타러너 아키텍처와 초기화를 동시에 최적화함으로써 Auto-Meta는 5-shot 5-way Mini-ImageNet 벤치마크에서 74.65%의 정확도를 달성하여 MAML보다 11.54% 높게 기록하였으며, 이는 메타러닝 분야에서 신경망 아키텍처 탐색이 성공적으로 적용된 최초의 사례이다.

ABSTRACT

Fully automating machine learning pipelines is one of the key challenges of current artificial intelligence research, since practical machine learning often requires costly and time-consuming human-powered processes such as model design, algorithm development, and hyperparameter tuning. In this paper, we verify that automated architecture search synergizes with the effect of gradient-based meta learning. We adopt the progressive neural architecture search \cite{liu:pnas_google:DBLP:journals/corr/abs-1712-00559} to find optimal architectures for meta-learners. The gradient based meta-learner whose architecture was automatically found achieved state-of-the-art results on the 5-shot 5-way Mini-ImageNet classification problem with $74.65\%$ accuracy, which is $11.54\%$ improvement over the result obtained by the first gradient-based meta-learner called MAML \cite{finn:maml:DBLP:conf/icml/FinnAL17}. To our best knowledge, this work is the first successful neural architecture search implementation in the context of meta learning.

연구 동기 및 목표

• 기울기 기반 메타러너를 위한 신경망 아키텍처 설계를 자동화하여 인간의 전문성 의존도를 줄이기.
• 자동화된 아키텍처 탐색이 기울기 기반 메타러닝과 융합되어 소수의 샘플에서의 분류 성능을 향상시킬 수 있는지 조사하기.
• 메타러닝 문헌 내에서 신경망 아키텍처 탐색의 첫 번째 성공적 구현을 보여주기.
• 점진적 탐색과 미분 가능한 아키텍처 탐색을 활용하여 고성능 메타러너 아키텍처를 효율적이고 확장 가능한 방법으로 발견하는 데 목표를 두기.

제안 방법

• 해당 방법은 메타러너를 위한 후보 아키텍처를 점진적으로 확장하고 평가하기 위해 점진적 신경망 아키텍처 탐색(PNAS)을 활용한다.
• 후보 아키텍처의 성능을 완전한 학습 없이도 예측하기 위해 강화학습 기반의 컨트롤러 네트워크를 학습시킨다.
• 탐색 과정은 메타러너 전체를 구성하는 데 반복적으로 사용되는 셀 아키텍처를 학습하는 데 집중한다.
• 최종 메타러너는 MAML의 일阶 근사(Reptile)를 사용하여 새로운 작업에 빠르게 적응한다.
• 테스트 시점에 전이 추론(Transduction inference)을 적용하여 지원 세트의 배치 통계를 활용해 일반화 성능을 향상시킨다.
• 모델 용량은 첫 번째 합성곱 레이어의 필터 수(F)를 통해 제어되며, 탐색은 Omniglot과 Mini-ImageNet 모두에서 수행된다.

실험 결과

연구 질문

• RQ1 자동화된 신경망 아키텍처 탐색은 소수의 샘플에서 기울기 기반 메타러너의 성능을 향상시킬 수 있는가?
• RQ2 아키텍처 탐색과 메타러닝 간의 융합이 표준 벤치마크에서 최고 수준의 성능을 이끌어낼 수 있는가?
• RQ3 탐색된 메타러너 아키텍처의 깊이와 구조는 인간이 설계한 모델과 비교해 어떻게 다른가?
• RQ4 점진적 아키텍처 탐색은 과도한 계산 비용 없이도 고성능 메타러너 아키텍처를 효율적으로 발견할 수 있는가?
• RQ5 전이 추론이 탐색된 메타러너의 최종 성능에 어떤 영향을 미치는가?

주요 결과

• Auto-Meta는 5-shot 5-way Mini-ImageNet 벤치마크에서 74.65%의 정확도를 달성하여 원본 MAML 방법보다 11.54% 높은 성능을 기록했다.
• 탐색된 아키텍처는 파arameter 수가 적은 상태에서도 인간이 설계한 모델인 Reptile와 프로토타입 네트워크를 초월하는 성능을 보였다.
• 1-shot 5-way 설정에서는 더 큰 모델을 사용해 57.58%의 정확도를 달성하였으며, 이는 이전의 베이스라인을 모두 뛰어넘었다.
• 점진적 탐색 과정에서 학습 중 셀의 깊이 분포를 통해 시간이 지남에 따라 더 깊은 아키텍처를 선호하는 경향을 확인할 수 있었다.
• 이 방법은 복잡한 보조 구성 요소 없이도 메타러너 성능을 크게 향상시킬 수 있음을 입증하였다.
• 결과적으로 자동 아키텍처 탐색이 기울기 기반 메타러닝과 융합될 경우, 특히 데이터가 적은 환경에서 매우 유익한 것으로 확인되었다.