[論文レビュー] Online Structured Meta-learning

Huaxiu Yao, Yingbo Zhou+4 more|arXiv (Cornell University)|Oct 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 8

ひとこと要約

本稿では、異種のタスク分布下でのオンラインメタラーニングにおいて、柔軟で適応的かつ解釈可能なオンラインメタラーニングを実現するため、メタラーナーを知識ブロックの階層的グラフとしてモデル化するオンライン構造的メタラーニング（OSML）を提案する。動的にメタ知識パスを構築し、関連するブロックを更新することで、グローバルに共有されるメタラーナーと比較して、非ステーションリティで複雑な環境下での高速適応と一般化性能が向上する。

ABSTRACT

Learning quickly is of great importance for machine intelligence deployed in online platforms. With the capability of transferring knowledge from learned tasks, meta-learning has shown its effectiveness in online scenarios by continuously updating the model with the learned prior. However, current online meta-learning algorithms are limited to learn a globally-shared meta-learner, which may lead to sub-optimal results when the tasks contain heterogeneous information that are distinct by nature and difficult to share. We overcome this limitation by proposing an online structured meta-learning (OSML) framework. Inspired by the knowledge organization of human and hierarchical feature representation, OSML explicitly disentangles the meta-learner as a meta-hierarchical graph with different knowledge blocks. When a new task is encountered, it constructs a meta-knowledge pathway by either utilizing the most relevant knowledge blocks or exploring new blocks. Through the meta-knowledge pathway, the model is able to quickly adapt to the new task. In addition, new knowledge is further incorporated into the selected blocks. Experiments on three datasets demonstrate the effectiveness and interpretability of our proposed framework in the context of both homogeneous and heterogeneous tasks.

研究の動機と目的

• 異種のタスク分布下でのオンラインメタラーニングにおいて、グローバルに共有されるメタラーナーの限界を解消すること。
• 新たな、おそらく相違するタスクに対応して、継続的な知識の蓄積とモデルの拡張を可能にすること。
• 構造的でタスクに特化した知識ブロックを活用することで、高速適応と一般化を向上させること。
• タスク間の関係を捉えるメタ階層的グラフを用いることで、モデルの解釈性を向上させること。
• 相違するタスクに対して完全に新しいメタラーナーを再構築する代替手段として、柔軟でスケーラブルな選択肢を提供すること。

提案手法

• メタラーナーは、複数の知識ブロックから構成される階層的グラフとして構造化され、それぞれが種類別の構造的事前知識（例：類似したタスクの背景）を表す。
• 各タスクの入力に対して、新しいタスクに対する関連性に基づいて、最も関連性の高い知識ブロックを選択することで、メタ知識パスが構築される。
• 入力タスクが既存のものと十分に相違する場合、動的に新しい知識ブロックが作成される。
• タスクを解消した後、選択された知識ブロックはメタアップデートにより更新され、新たな情報を統合し、将来の適応を改善する。
• 本フレームワークは、既知の関連ブロックの活用と新しいブロックの探索の両方を可能にし、非定常分布下での継続的学習を実現する。
• タスク表現ネットワークへの依存を回避するため、オンラインで逐次的に学習する上で実用的である。

実験結果

リサーチクエスチョン

• RQ1 構造的メタラーナーは、異種のタスク分布下でのオンラインメタラーニングにおいて、グローバルに共有されるメタラーナーを上回る性能を発揮できるか？
• RQ2 オンライン学習において、多様で非定常なタスク間で、知識を効果的に整理・再利用する方法は何か？
• RQ3 階層的ブロック構造は、オンラインメタラーニングにおけるモデルの解釈性と一般化性能を向上させられるか？
• RQ4 知識ブロックの動的生成と更新は、パフォーマンスとスケーラビリティにどのように影響するか？
• RQ5 メタ知識パスメカニズムは、最小限のタスクデータで高速適応を実現できるか、その程度はどの程度か？

主な発見

• OSMLは、既存のオンラインメタラーニングベースラインと比較して、同種および異種の少サンプル学習ベンチマークで優れたパフォーマンスを達成する。
• 動的に構築されたメタ知識パスを通じて、タスク固有の構造的事前知識を活用することで、一般化性能の向上と高速適応が実現される。
• メタ階層的グラフ構造により、タスクと知識ブロックの間の関係を明示的に捉えることで、解釈性が向上する。
• 相違するタスクに対して完全に新しいメタラーナーを再構築する手法と比較して、モデルサイズを削減し、柔軟性を高める。
• 実験的結果から、OSMLは継続的な知識ブロックの更新と拡張により、非定常で複雑なタスク分布を効果的に処理できることを示している。
• タスクに不連続なモードや異種の特徴がある状況においても、OSMLは固定メタラーナーを上回る強力なパフォーマンスを維持する。