[論文レビュー] Routing Networks: Adaptive Selection of Non-linear Functions for Multi-Task Learning

Clemens M. Rosenbaum, Tim Klinger+1 more|arXiv (Cornell University)|Nov 3, 2017

Machine Learning and ELM被引用数 48

ひとこと要約

本稿では、入力に応じて関数ブロック（例：ニューラルネットワーク層）を動的に組み立てるルーターを用いる、マルチタスク学習のための新規アーキテクチャ「ルーティングネットワーク」を提案する。協調的マルチエージェント強化学習により訓練され、クロススタッチや共有層ベースラインと比較して顕著に高い精度と高速な収束を達成しており、CIFAR-100（20タスク）では最大85%の高速化が達成された。

ABSTRACT

Multi-task learning (MTL) with neural networks leverages commonalities in tasks to improve performance, but often suffers from task interference which reduces the benefits of transfer. To address this issue we introduce the routing network paradigm, a novel neural network and training algorithm. A routing network is a kind of self-organizing neural network consisting of two components: a router and a set of one or more function blocks. A function block may be any neural network - for example a fully-connected or a convolutional layer. Given an input the router makes a routing decision, choosing a function block to apply and passing the output back to the router recursively, terminating when a fixed recursion depth is reached. In this way the routing network dynamically composes different function blocks for each input. We employ a collaborative multi-agent reinforcement learning (MARL) approach to jointly train the router and function blocks. We evaluate our model against cross-stitch networks and shared-layer baselines on multi-task settings of the MNIST, mini-imagenet, and CIFAR-100 datasets. Our experiments demonstrate a significant improvement in accuracy, with sharper convergence. In addition, routing networks have nearly constant per-task training cost while cross-stitch networks scale linearly with the number of tasks. On CIFAR-100 (20 tasks) we obtain cross-stitch performance levels with an 85% reduction in training time.

研究の動機と目的

• マルチタスク学習（MTL）におけるタスク干渉を軽減するため、入力に依存する神経ネットワーク部品の動的・適応的組み立てを可能にする。
• 共有層やクロススタッチネットワークといった固定アーキテクチャの限界を克服し、負の転送を引き起こす可能性を低減する。
• 全結合層や畳み込み層などの関数ブロックを、入力とタスクに応じて適応的に選択可能な汎用的フレームワークを構築する。
• クロススタッチネットワークがタスク数に比例してコストが増加するのとは異なり、定数のタスクあたりコストで効率的な学習を実現する。
• マルチエージェント強化学習を用いて、タスク固有のルーティング方策を学ぶルーターを訓練する。同時に、有益な場合は関数ブロックを共有する。

提案手法

• ルーターと関数ブロックのセットから成るルーティングネットワークを設計し、ルーターが最大固定深さまで再帰的に関数ブロックを選択・適用する。
• 強化学習を用いてハードルーティング意思決定を実装し、各タスクに独立した強化学習エージェントを割り当て、ルーティング方策を学習する。
• 協調的マルチエージェント強化学習フレームワーク（Weighted Policy Learner）を用い、ルーターと関数ブロックを同時に訓練することで、タスク固有の適応を可能にする。
• 入力特徴、タスクID、再帰的深さ、履歴ルーティング選択を条件としてルーターが意思決定できるようにし、動的かつ階層的な組み立てを可能にする。
• 入力出力次元が互換性を持つ限り、異種の関数ブロック（例：異なる種類の層）をサポートする。
• ポリシー勾配法を用いてエンドツーエンドで学習し、ルーターの意思決定は微分可能でないが、ポリシー学習により最適化される。

実験結果

リサーチクエスチョン

• RQ1 動的かつ適応的ルーティング機構は、マルチタスク学習におけるタスク干渉を軽減し、一般化性能を向上させることができるか？
• RQ2 クロススタッチネットワークや共有層モデルといった強力なベースラインと比較して、ルーティングネットワークの精度と学習効率はどのように異なるか？
• RQ3 ルーターは、データ構造やタスク類似性を反映したタスク固有のルーティング戦略をどの程度学習できるか？
• RQ4 マルチエージェント強化学習を用いることで、単一エージェントや微分可能ルーティングアプローチと比較して、より優れた探索と収束が達成できるか？
• RQ5 クロススタッチネットワークのようにタスク数に比例してコストが増加するのとは異なり、多数のタスクにスケーリングしても、タスクあたりの学習コストを一定に保てるか？

主な発見

• ルーティングネットワークは、MNIST、mini-ImageNet、CIFAR-100において、クロススタッチネットワークや共有層ベースラインと比較して顕著に高い精度を達成した。
• 20タスクのCIFAR-100では、ルーティングネットワークはクロススタッチレベルの性能を達成しながら、学習時間を85%短縮した。
• 収束が鋭く、学習ダイナミクスが高速であり、ポリシーのエントロピーが時間経過とともに減少する傾向を示しており、安定したタスク固有のルーティング戦略への収束を示している。
• ルーターは多様なルーティングパターンを学習する：MNIST-MTLでは、まず7つの関数ブロックを使用し、4つに減少させた後、再び5つに拡大するなど、非自明で学習されたアーキテクチャ構成が示された。
• 分析の結果、ルーティングポリシーは純粋戦略（1つのブロックに100%の確率）に収束しており、早期に到着したエージェント（例：図11のピンクと緑）が特定のブロックを支配していることが明らかになった。
• ルーティングマップの分析から、複数のタスク間で関数ブロックを再利用していることが明らかであり、負の干渉を伴わずに効果的な正の転送が実現されていることが示された。