[論文レビュー] PathNet: Evolution Channels Gradient Descent in Super Neural Networks

Chrisantha Fernando, Dylan Banarse+6 more|arXiv (Cornell University)|Jan 30, 2017

Neural Networks and Applications参考文献 20被引用数 643

ひとこと要約

PathNet は巨大なニューラルネットワーク内で経路を進化させ、勾配降下を導く。これにより、使用済みパラメータを凍結し、新しいタスクに対して学習済みの経路を再利用することで、転移学習、継続学習、マルチタスク学習を可能にする。

ABSTRACT

For artificial general intelligence (AGI) it would be efficient if multiple users trained the same giant neural network, permitting parameter reuse, without catastrophic forgetting. PathNet is a first step in this direction. It is a neural network algorithm that uses agents embedded in the neural network whose task is to discover which parts of the network to re-use for new tasks. Agents are pathways (views) through the network which determine the subset of parameters that are used and updated by the forwards and backwards passes of the backpropogation algorithm. During learning, a tournament selection genetic algorithm is used to select pathways through the neural network for replication and mutation. Pathway fitness is the performance of that pathway measured according to a cost function. We demonstrate successful transfer learning; fixing the parameters along a path learned on task A and re-evolving a new population of paths for task B, allows task B to be learned faster than it could be learned from scratch or after fine-tuning. Paths evolved on task B re-use parts of the optimal path evolved on task A. Positive transfer was demonstrated for binary MNIST, CIFAR, and SVHN supervised learning classification tasks, and a set of Atari and Labyrinth reinforcement learning tasks, suggesting PathNets have general applicability for neural network training. Finally, PathNet also significantly improves the robustness to hyperparameter choices of a parallel asynchronous reinforcement learning algorithm (A3C).

研究の動機と目的

• 複数タスクに跨る1つの巨大なネットワークの効率的な再利用を動機づけ、転移を可能にし、破局的忘却を低減する。
• PathNet を提案する：埋め込まれたエージェント（経路）が使用・更新するパラメータを決定するモジュラー網絡。
• 教師あり学習と強化学習領域にまたがって、転移学習、継続学習、マルチタスク学習を実証する。
• 勾配ベースの学習で経路を進化させることが、独立した訓練や単純なファインチューニングより優れていることを示す。

提案手法

• PathNet は L 層と各層あたり M モジュールを持つモジュラー式深層ネットワークである。各層で最大 N 個のモジュールが経路を形成する。
• 経路は各層でアクティブなモジュールを説明する整数行列（Genotypes）としてエンコードされる。
• トーナメント選択遺伝アルゴリズムが経路を進化させる一方、勾配降下はアクティブ経路内のパラメータを更新する。
• 転移中、ソースタスクに対する最良の経路を固定（パラメータを凍結）し、ターゲットタスクのために新しい集団を進化させる。
• 強化学習では、64 の非同期ワーカーが経路を並列に評価し、中央のゲノタイププールを共有する。
• 実験には、シリアルな教師ありタスク（binary MNIST、CIFAR、SVHN）と並列 RL タスク（Atari、Labyrinth）を A3C を用いて含む。

実験結果

リサーチクエスチョン

• RQ1 PathNet は、連続するタスク間で再利用可能なパラメータサブセットを進化させて正の転移を実現できるか。
• RQ2 タスク後に学習した経路を凍結し、新しいタスクのために経路を再進化させることで、破局的忘却を防ぎつつ学習を速くできるか。
• RQ3 教師あり学習および強化学習領域で、PathNet はゼロから学習するまたは単純なファインチューニングと比較して転移学習をどう改善するか。
• RQ4 効率的な経路発見と転移を支える最適なネットワークアーキテクチャと進化パラメータは何か。
• RQ5 モジュールの重複や経路の重複は転移性能にどの程度影響するか。

主な発見

• PathNet は、binary MNIST、CIFAR、SVHN、Atari のゲーム、および Labyrinth タスク全体で正の転移を達成し、ゼロからの学習や単純なファインチューニングのコントロールよりも優れている。
• ソースタスクから最適な経路を固定し、ターゲットタスクのために新しい経路を進化させることで、ターゲットタスクの学習を新たに学習するよりファーストラーニングが速くなる。
• Atari 実験では、PathNet は独立学習より平均で1.33の速度アップ、ファインチューニング・コントロールより1.16の速度アップをもたらす。Labyrinth の転移結果は、いくつかのタスクペアでベースラインを上回る改善を示す。
• PathNet の経路進化は初期層にトレーニングを集中させ、後半層でより探索を示す。これは層状のタスク固有のゲーティングと、出現するドロップアウト様のダイナミクスを示している。
• モジュールの重複は特定の転送で性能を向上させる可能性があり、Labyrinth タスクでは PathNet が層内の有用なモジュールをコピーして転移を改善できる。
• PathNet は A3C 強化学習設定におけるハイパーパラメータ選択に対する頑健性を大きく向上させる。