[논문 리뷰] PathNet: Evolution Channels Gradient Descent in Super Neural Networks

Chrisantha Fernando, Dylan Banarse외 6명|arXiv (Cornell University)|2017. 01. 30.

Neural Networks and Applications참고 문헌 20인용 수 643

한 줄 요약

PathNet은 거대한 신경망을 통해 경사 하강을 안내하는 경로를 진화시켜 전이 학습, 지속적 학습, 다중 작업 학습을 가능하게 하며 사용한 매개변수를 고정하고 새로운 작업을 위해 학습 경로를 재사용합니다.

ABSTRACT

For artificial general intelligence (AGI) it would be efficient if multiple users trained the same giant neural network, permitting parameter reuse, without catastrophic forgetting. PathNet is a first step in this direction. It is a neural network algorithm that uses agents embedded in the neural network whose task is to discover which parts of the network to re-use for new tasks. Agents are pathways (views) through the network which determine the subset of parameters that are used and updated by the forwards and backwards passes of the backpropogation algorithm. During learning, a tournament selection genetic algorithm is used to select pathways through the neural network for replication and mutation. Pathway fitness is the performance of that pathway measured according to a cost function. We demonstrate successful transfer learning; fixing the parameters along a path learned on task A and re-evolving a new population of paths for task B, allows task B to be learned faster than it could be learned from scratch or after fine-tuning. Paths evolved on task B re-use parts of the optimal path evolved on task A. Positive transfer was demonstrated for binary MNIST, CIFAR, and SVHN supervised learning classification tasks, and a set of Atari and Labyrinth reinforcement learning tasks, suggesting PathNets have general applicability for neural network training. Finally, PathNet also significantly improves the robustness to hyperparameter choices of a parallel asynchronous reinforcement learning algorithm (A3C).

연구 동기 및 목표

• 하나의 거대한 네트워크를 다수의 작업에 걸쳐 효율적으로 재사용하도록 동기를 부여하고 이를 해결하여 전이를 가능하게 하고 재앙적 망각을 줄인다.
• PathNet 제안: 임베디드 에이전트(경로)가 어떤 매개변수를 사용하고 업데이트할지 결정하는 모듈식 네트워크.
• 감독 학습과 강화 학습 영역에서 전이 학습, 지속적 학습, 다중 작업 학습을 시연한다.
• 경사 기반 학습으로 경로를 진화시키는 것이 독립적 학습이나 간단한 파인 튜닝보다 더 나은 성능을 보일 수 있음을 보인다.

제안 방법

• PathNet은 L개의 층과 각 층에 M개의 모듈이 있는 모듈식 심층 네트워크이다; 각 층에서 최대 N개의 모듈이 한 경로를 형성한다.
• 경로는 각 층에서 활성 모듈을 설명하는 정수 행렬(genotypes)로 인코딩된다.
• 토너먼트 선택 유전 알고리즘이 경로를 진화시키는 동안 경사 하강은 활성 경로 내 매개변수를 업데이트한다.
• 전이 동안 소스 작업에 대한 최적 경로를 고정하고(매개변수 고정) 대상 작업에 대해 새로운 개체군이 진화한다.
• 강화 학습에서 64개의 비동기 작업자가 경로를 병렬로 평가하고 중앙 제네타입 풀을 공유한다.
• 실험은 A3C를 사용한 직렬 감독 학습 과제(이진 MNIST, CIFAR, SVHN)와 병렬 강화 학습 과제(Atari, Labyrinth)를 포함한다.

실험 결과

연구 질문

• RQ1 PathNet이 재사용 가능한 매개변수 부분집합을 진화시켜 순차적 작업 간에 긍정적 전이를 가능하게 할 수 있는가?
• RQ2 작업 이후 학습된 경로를 고정하고 새로운 작업을 위해 새로운 경로를 진화시키는 것이 재앙적 망각을 방지하면서도 더 빠른 학습을 가능하게 하는가?
• RQ3 감독 학습과 강화 학습 영역에서 PathNet이 처음부터 학습하거나 간단한 파인튜닝과 비교했을 때 전이 학습 성능은 어떠한가?
• RQ4 효율적인 경로 발견과 전이를 가장 잘 지지하는 네트워크 아키텍처 및 진화 매개변수는 무엇인가?
• RQ5 모듈 중복이나 경로 중복이 전이 성능에 어느 정도 영향을 미치는가?

주요 결과

• PathNet은 이진 MNIST, CIFAR, SVHN, Atari 게임, Labyrinth 과제에서 긍정적 전이를 달성하여 처음부터 학습하거나 간단한 파인 튜닝 제어보다 우수하다.
• 소스 작업에서 최적 경로를 고정하고 대상 작업을 위해 새로운 경로를 진화시키는 것은 새로 학습하거나 파인 튜닝을 통한 학습보다 대상 작업에서 더 빠른 학습을 가능하게 한다.
• Atari 실험에서 PathNet은 독립 학습 대비 평균 1.33배의 속도향상을, 파인튜닝 제어 대비 1.16배의 속도향상을 보이며; Labyrinth에서의 전이 결과는 여러 과제 쌍에서 기준선보다 개선된다.
• PathNet의 경로 진화는 먼저 초기 층에 학습을 집중시키고 이후 층에서 더 많은 탐색을 보이며, 계층화된 작업 특이 게이팅과 드롭아웃에 준한 역학이 나타난다.
• 모듈 중복은 특정 전이에서 성능을 향상시킬 수 있으며 Labyrinth 과제에서 PathNet은 한 층 내에서 유용한 모듈을 복사하여 전이를 개선할 수 있다.
• PathNet은 A3C 강화 학습 설정에서 하이퍼파라미터 선택에 대한 강건성을 크게 향상시킨다.