[논문 리뷰] Transfer Learning to Learn with Multitask Neural Model Search

Catherine Wong, Andréa Gesmundo|arXiv (Cornell University)|2017. 10. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 12인용 수 5

한 줄 요약

이 논문은 여러 작업을 동시에 고려하면서도 이전 작업들에서 학습한 전이 지식을 활용해 새로운 작업의 신속한 탐색을 가능하게 하는 강화학습 프레임워크인 다중작업 신경망 모델 탐색(MNMS)을 제안한다. 사전 훈련을 통해 이전 작업에서의 지식을 습득함으로써 MNMS는 새로운 작업에 대해 더 빠른 수렴을 이끌어내며, 정확도를 희생시키지 않은 채 인간이 설계한 모델을 뛰어넘는 성능을 달성한다.

ABSTRACT

Deep learning models require extensive architecture design exploration and hyperparameter optimization to perform well on a given task. The exploration of the model design space is often made by a human expert, and optimized using a combination of grid search and search heuristics over a large space of possible choices. Neural Architecture Search (NAS) is a Reinforcement Learning approach that has been proposed to automate architecture design. NAS has been successfully applied to generate Neural Networks that rival the best human-designed architectures. However, NAS requires sampling, constructing, and training hundreds to thousands of models to achieve well-performing architectures. This procedure needs to be executed from scratch for each new task. The application of NAS to a wide set of tasks currently lacks a way to transfer generalizable knowledge across tasks. In this paper, we present the Multitask Neural Model Search (MNMS) controller. Our goal is to learn a generalizable framework that can condition model construction on successful model searches for previously seen tasks, thus significantly speeding up the search for new tasks. We demonstrate that MNMS can conduct an automated architecture search for multiple tasks simultaneously while still learning well-performing, specialized models for each task. We then show that pre-trained MNMS controllers can transfer learning to new tasks. By leveraging knowledge from previous searches, we find that pre-trained MNMS models start from a better location in the search space and reduce search time on unseen tasks, while still discovering models that outperform published human-designed models.

연구 동기 및 목표

• 다양한 작업들에 걸쳐 동시에 신경망 아키텍처 탐색을 자동화하여 수동 설계나 격자 탐색에 대한 의존도를 줄이기.
• 이전 작업들로부터 전이 가능한 지식을 학습하여 새로운, 알려지지 않은 작업에 대한 탐색을 가속화하기.
• 각 작업에 특화된 고성능 모델을 발견하면서도 작업 간 공유 가능한 일반화된 학습을 유지하기.
• 사전 훈련된 MNMS 컨트롤러가 탐색 공간에서 더 나은 초기 지점에서 시작하여 탐색 시간을 단축하고 효율성을 향상시킨다는 것을 입증하기.

제안 방법

• 다양한 작업들에서 병렬적으로 자식 네트워크를 샘플링하고 훈련하기 위해 강화학습 기반 컨트롤러를 사용한다.
• 작업 간 지식 공유를 가능하게 하면서도 각 작업에 특화된 아키텍처 분포를 학습하는 공유된 RNN 컨트롤러를 활용한다.
• 다양한 작업 간 관계를 인코딩하기 위해 작업 임베딩을 도입하여 전이 학습을 가능하게 한다.
• 탐색 진행 상황의 시각화와 분석을 명확히 하기 위해 정확도 곡선을 스무딩하기 위해 Savitzky-Golay 필터링을 적용한다.
• 사전 훈련된 단어 임베딩을 활용하고, 탐색 중에 임베딩을 엔드 투 엔드로 훈련할 수 있도록 하여 작업 복잡도에 적응하도록 한다.
• 자식 네트워크 성능에 기반해 컨트롤러를 업데이트하기 위해 정책 그래디언트 최적화를 사용하며, 보상이 높은 아키텍처를 선호한다.

실험 결과

연구 질문

• RQ1 단일 컨트롤러가 동시에 다양한 작업들에 대해 고성능 아키텍처를 효과적으로 탐색할 수 있는가?
• RQ2 다중작업 훈련이 새로운, 알려지지 않은 작업에서 탐색 효율성을 향상시키는 전이 가능한 지식을 학습할 수 있는가?
• RQ3 MNMS 프레임워크가 작업들을 구분하고 각 작업에 최적화된 하이퍼파라미터 및 아키텍처를 학습할 수 있는가?
• RQ4 이전 작업에서의 사전 훈련이 새로운 작업에 대한 탐색의 수렴 속도와 최종 성능에 어떤 영향을 미치는가?
• RQ5 학습된 작업 임베딩에 의해 인코딩된 작업 간의 구조적 관계는 어떤가?

주요 결과

• MNMS는 IMDB 및 Corpus Cine 감성 분류 작업에서 모두 발표된 인간이 설계한 모델들을 능가하는 모델을 성공적으로 발견했다.
• 사전 훈련된 MNMS 컨트롤러는 새로운 작업에서 유의미하게 더 빠르게 수렴하며, 탐색 공간에서 더 나은 초기 위치에서 시작한다.
• MNMS를 통해 발견된 최고의 모델들은 평균 단어 벡터를 사용한 최신 기술 수준의 수동 튜닝 모델들과 비교해도 성능이 유사하거나 뛰어나다.
• MNMS는 작업별 특성에 맞게 행동을 학습한다. 예를 들어, SST와 같은 복잡한 작업에서는 단어 임베딩을 계속 훈련하지만, 언어 식별과 같은 간단한 작업에서는 고정한다.
• 작업 임베딩을 통해 작업 간 의미 있는 상관관계를 학습하며, IMDB와 SST 간, 스페인어 언어 식별과 Corpus Cine 간에 강한 유사성이 관찰된다.
• 사전 훈련된 MNMS를 통한 전이 학습은 국소 최적점으로의 편향을 유도하지 않으며, 초기화 방법에 관계없이 최종 성능가 일관성을 유지한다.