[論文レビュー] Modular meta-learning

Ferran Alet, Tomás Lozano‐Pérez+1 more|arXiv (Cornell University)|Jun 26, 2018

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 38

ひとこと要約

本論文は、新しいタスク間で組み合わせ的汎化を可能にするために再利用可能なニューラルネットワークモジュールのセットを学習する、モジュラーなメタラーニングを提案する。シミュレートアニーリングに基づく構造探索を用いてこれらのモジュールを組み合わせることで、特にロボティクス関連の回帰および運動予測タスクにおいて、MAMLに比べて優れた少数ショット一般化性能と解釈可能性を達成する。

ABSTRACT

Many prediction problems, such as those that arise in the context of robotics, have a simplifying underlying structure that, if known, could accelerate learning. In this paper, we present a strategy for learning a set of neural network modules that can be combined in different ways. We train different modular structures on a set of related tasks and generalize to new tasks by composing the learned modules in new ways. By reusing modules to generalize we achieve combinatorial generalization, akin to the "infinite use of finite means" displayed in language. Finally, we show this improves performance in two robotics-related problems.

研究の動機と目的

• 訓練データの収集が高価かつ時間のかかるロボティクス学習におけるサンプル効率の課題に対処すること。
• MAMLなどのパラメータベースのメタラーニング（例：MAML）の限界を克服し、重みの適応から再利用可能なモジュールの構造的組み合わせへと移行すること。
• 言語の使用に類似した組み合わせ的汎化を実現するため、新しいタスクに対して学習済みモジュールを新しい構成で再利用すること。
• 解釈可能性と検証可能性を高めるために、再利用可能な、分析可能なコンポONENTに分解された解決策を提供すること。
• 災難的忘却を回避するためのスケーラブルな継続的学習フレームワークを構築すること。

提案手法

• 関連するタスクの集合上でメタトレーニング中に、例えば順方向ネットワーク、アテンションモジュール、回帰器などのニューラルモジュールのレパートアを学習するBounceGradというアルゴリズムを提案する。
• タスクレベルの構造的シグナルを必要とせずに、汎用的なシミュレートアニーリング探索を用いて、各新しいタスクにおけるモジュールの最適な構造的組み合わせを発見する。
• 動的運動予測タスクにおいて、固定の初期層と、体の部位（例：腕、胴体）ごとに独立した並列モジュールを備えた構造にする。
• 少数ショットの例えでファインチューニングによりモジュールを適応可能にし、構造的再結合によって新しいタスクへの高速適応を可能にする。
• メタラーニングとモジュラー構造を統合し、タスク間で一般化可能な初期モジュール重みを学習することで、パラメータおよび構造的適応の両方を支援する。
• 構造的変更（例：物体やアクションの種類）がモジュールの再結合を引き起こすが、それらとは関連性の低い要因（例：表面や被験者の識別子）は影響しない、構成的仮説空間を定義する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークコンポONENTのモジュラー構成は、MAMLのようなパラメータベースのメタラーニング手法に比べ、より優れた少数ショット一般化を実現できるか？
• RQ2 学習済みモジュールは、異なる物体、アクション、被験者を対象としたタスク間でどれほど再利用可能であり、これは根本的な構造的類似性を反映しているか？
• RQ3 モジュラーなメタラーニングは、関連するタスク間で共通する構造的コンポONENTを明らかにすることで、解釈性を向上させるか？
• RQ4 分布シフト、例えば以前に見られなかった物体やアクションに対してテストした場合、この手法はどの程度の性能を示すか？
• RQ5 コンポONENTを再結合する前に個別に分析することで、モジュラー構造が効率的な検証と検査を可能にするか？

主な発見

• MIT pushデータセットでは、BounceGradはMAMLおよびモジュラー適応を施したMAML（MOMA）を上回り、既知の物体に対する少数ショット一般化において顕著な回帰精度の向上を示した。
• 未知の物体に対しては、すべての手法が同程度の性能を示したが、BounceGradは既知の物体のシナリオで性能の優位性を維持し、モジュラー再利用の価値を裏付けた。
• 共有モジュール解析により、3つの明確なクラスタ（バタフライ、楕円、三角形）が特定され、サイズやアスペクト比などの構造的類似性がモジュール再利用を駆動していることが確認された。これは、本手法が意味的なドメイン構造を捉えていることを示している。
• MHADモーションキャプチャタスクでは、BounceGradとMOMAが既知のアクションで最良の性能を達成した。特に、類似したアクション間でモジュールを共有した場合、BounceGradは未学習のアクションに対しても優れた一般化性能を示した。
• スケルトン予測タスクにおけるモジュール共有パターンは、類似したアクション間で顕著な再利用を示したが、異なる人間被験者間では有意義な共有は見られなかった。これは、本手法がタスク関連の構造的関係を適切に捉えていることを示している。
• モジュラー手法により解釈性が向上した：共有モジュール行列を通じて、概念的に類似したタスク（例：同じ物体やアクションタイプ）が共通のコンポONENTを再利用していることが明らかになった。