[論文レビュー] Transferring Knowledge across Learning Processes

Sebastian Flennerhag, Pablo García Moreno+2 more|arXiv (Cornell University)|Dec 3, 2018

Innovative Teaching and Learning Methods被引用数 39

ひとこと要約

Leapは、損失多様体上の勾配パスの長さの期待値を最小化することで、学習プロセス間での知識の転送を可能にするメタラーニングフレームワークを提案する。複雑で長時間訓練がかかる状況において、追加のバックプロパゲーションを必要とせず、訓練軌道の幾何構造を活用することで、標準的な微調整やメタラーナーを凌駕する。視覚および強化学習タスク、特に数百万回の勾配ステップを要するAtariゲームでも有効である。

ABSTRACT

In complex transfer learning scenarios new tasks might not be tightly linked to previous tasks. Approaches that transfer information contained only in the final parameters of a source model will therefore struggle. Instead, transfer learning at a higher level of abstraction is needed. We propose Leap, a framework that achieves this by transferring knowledge across learning processes. We associate each task with a manifold on which the training process travels from initialization to final parameters and construct a meta-learning objective that minimizes the expected length of this path. Our framework leverages only information obtained during training and can be computed on the fly at negligible cost. We demonstrate that our framework outperforms competing methods, both in meta-learning and transfer learning, on a set of computer vision tasks. Finally, we demonstrate that Leap can transfer knowledge across learning processes in demanding reinforcement learning environments (Atari) that involve millions of gradient steps.

研究の動機と目的

• 従来の転移学習の限界、すなわちパラメータ類似性に依存し、ソースタスクとターゲットタスクに構造的類似性がない場合に失敗することを是正すること。
• 少数のショットやパラメータベースの手法が最適化中に深刻な情報損失を引き起こすため、性能が著しく低下する複雑で長時間訓練がかかる状況でも知識転送を可能にすること。
• 転移学習を、最終的なモデルパラメータではなく、訓練軌道の幾何構造に関するメタラーニング問題として形式化すること。
• 追加のバックプロパゲーションを必要とせず、訓練プロセスからのみの情報を利用し、軽量でリアルタイムに動作する手法を開発すること。
• 強化学習における大きな状態空間など、動的特性が著しく異なる分布外タスクに対しても、転送された知識が一般化可能であることを示すこと。

提案手法

• Leapは、各学習プロセスを、訓練中のモデルパラメータの軌道によってパrameter化された損失多様体上のパスとしてモデル化する。
• 幾何的距離尺度（例：エネルギー距離 $d_2$）を用いて、複数のタスクにわたるこれらの勾配パスの期待長を最小化するメタラーニング目的関数を定義する。
• フレームワークは訓練中におけるリアルタイム処理に完全に依存しており、標準的な最適化に加えて、追加のフォワードパスやバックプロパゲーションは不要である。
• 損失面およびパラメータ軌道によって捉えられる勾配パスの幾何構造を用いて、タスク間で共通するインダクティブバイアスを推定する。
• 最適化手法の選択に依存しない（SGD, Adam, または調整可能な前件行列 $S^i$ を用いた自然勾配を含む）、学習率スケジュール $\alpha^i$ に対応可能である。
• Leapは、損失多様体上で期待されるパス長が短くなるような初期化を学習することで、新しいタスクにおける収束性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 最終的なモデルパラメータに依存するのではなく、学習プロセスの幾何構造をモデル化することで、知識転送を有効に実現できるか？
• RQ2 損失多様体上の勾配パスの期待長を最小化することで、複雑で長時間訓練がかかるタスクにおける一般化性能が向上するか？
• RQ3 パス長に基づく軽量なメタラーニングフレームワークが、視覚および強化学習タスクにおいて、標準的な微調整や既存のメタラーナーを凌駕できるか？
• RQ4 訓練ダイナミクスの幾何構造レベルでの転送が、状態空間やアクション空間のサイズが異なる分布外タスクにも一般化可能か？
• RQ5 Atari 2600 など、数百万回の勾配ステップを要する強化学習環境でも、全訓練プロセスをバックプロパゲーションせずに Leap がスケーラブルか？

主な発見

• Multi-CVベンチマークの11の転移学習タスクのうち10つにおいて、ランダム初期化、微調整、HAT、Progressive Netsを凌駕し、収束が速く、最終的な精度も高い。
• Facescrubデータセットでは、ランダム初期化よりわずかに性能が低いが、これは例外的であり、他のすべてのタスクでは微調整や HAT より顕著に優れている。微調整や HAT は性能低下を示している。
• Atari 2600ゲームにおいても優れた性能を発揮し、予め学習したゲームと比較して最大50％も大きな状態空間を持つ分布外タスク（Alien, Gravitar, RoadRunnerなど）でも優位性を示した。
• Atariにおける性能向上の主な要因は、より安定で変動の少ない探索行動であり、10個の異なる乱数シードにおける訓練曲線の信頼区間が狭いことから明らかである。
• 学習ダイナミクスが一貫する場合、未観測のタスク変種に対しても一般化可能であり、訓練プロセスの幾何構造レベルでの転送が、強力なゼロショット一般化を可能にすることを示している。
• エネルギー距離（$d_2$）を用いた1エポック分のパスサンプリングで、1タスクあたり500万ステップのメタトレーニングを行うことで、長時間のパストレーニングと同等の性能が達成可能であり、部分的な軌道でも有効な構造推定が可能であることが示された。