[論文レビュー] Meta-Learning with MAML on Trees

Jezabel Garcia, Federica Freddi+6 more|arXiv (Cornell University)|Mar 8, 2021

Topic Modeling参考文献 16被引用数 4

ひとこと要約

この論文では、階層的タスク構造—特に言語系統発生樹—を活用して、少数の例での多言語自然言語理解を向上させるモデルに依存しないメタラーニングアルゴリズムであるTreeMAMLを提案する。木構造の適応プロセスにおいてクラスタごとに勾配をプールすることで、TreeMAMLはXNLIベンチマークで最先端手法よりも3%の精度向上を達成し、リソースが乏しい言語における転移学習の改善を示している。

ABSTRACT

In meta-learning, the knowledge learned from previous tasks is transferred to new ones, but this transfer only works if tasks are related. Sharing information between unrelated tasks might hurt performance, and it is unclear how to transfer knowledge across tasks with a hierarchical structure. Our research extends a model agnostic meta-learning model, MAML, by exploiting hierarchical task relationships. Our algorithm, TreeMAML, adapts the model to each task with a few gradient steps, but the adaptation follows the hierarchical tree structure: in each step, gradients are pooled across tasks clusters, and subsequent steps follow down the tree. We also implement a clustering algorithm that generates the tasks tree without previous knowledge of the task structure, allowing us to make use of implicit relationships between the tasks. We show that the new algorithm, which we term TreeMAML, performs better than MAML when the task structure is hierarchical for synthetic experiments. To study the performance of the method in real-world data, we apply this method to Natural Language Understanding, we use our algorithm to finetune Language Models taking advantage of the language phylogenetic tree. We show that TreeMAML improves the state of the art results for cross-lingual Natural Language Inference. This result is useful, since most languages in the world are under-resourced and the improvement on cross-lingual transfer allows the internationalization of NLP models. This results open the window to use this algorithm in other real-world hierarchical datasets.

研究の動機と目的

• MAMLが関係のないタスクや階層的構造を持つタスク間での知識転送に限界を示す問題に対処すること。
• 特にリソースが乏しい言語を対象とした低リソースNLPシナリオにおける少数例学習パフォーマンスの向上。
• 事前にタスク関係の知識がなくても、タスク階層を動的に学習できる手法の開発。
• メタラーニングに言語系統発生構造を組み込むことで、自然言語理解における多言語間転移を強化すること。

提案手法

• TreeMAMLは、モデル適応プロセス中に木構造に従う階層的勾配プーリング機構を導入することで、MAMLを変更する。
• 各適応ステップでは、同じレベルの木におけるタスククラスタ間で勾配が集約され、その後、より細分化されたタスクへと移行する。
• 事前に知識がなくても、タスク類似度から動的にタスクツリー構造を学ぶために、OTDに基づく修正済みの階層的クラスタリングアルゴリズムが使用される。
• 固定ツリー（例：言語系統発生ツリー）と学習済みツリーの両方をサポートしており、実世界の応用における柔軟性を提供する。
• モデルに依存せず、任意のバックボーンネットワークと損失関数と互換性があるため、広範な適用が可能である。
• パラメータ重要度スコアの先行研究にインspiredされ、勾配ベースの類似度測定を用いてタスク関係を推定する。

実験結果

リサーチクエスチョン

• RQ1 標準的なMAMLと比較して、階層的タスク構造は少数例メタラーニングパフォーマンスを向上させるか？
• RQ2 固定された言語系統発生ツリーと動的に学習されたタスク階層の両方を用いた場合、TreeMAMLのパフォーマンスはどのように変化するか？
• RQ3 言語的関係（例：言語家族）を組み込むことで、NLPにおける多言語間転移はどの程度向上するか？
• RQ4 TreeMAMLは、XNLIのような多言語自然言語帰納における最先端手法（XMAML）を上回るか？
• RQ5 タスク階層が事前に定義されたものではなく、データから学習された場合、リソースが乏しい言語への一般化性能が向上するか？

主な発見

• 合成多次元回帰タスクにおいて、TreeMAMLは標準MAMLおよびベースラインモデルを上回り、平均二乗誤差を半減させた。
• XNLIベンチマークでは、TreeMAMLは以前の最先端手法（XMAML）よりも3%の精度向上を達成した。
• 固定ツリーを用いたTreeMAMLは、すべての言語でMAMLを上回り、特にリソースが乏しい言語で最大の向上を示した。
• 学習済みTreeMAMLは、ほとんどの場合、固定TreeMAMLと同等またはそれ以上のパフォーマンスを示し、事前に定義された系統発生ツリーを超えた有用なタスク関係を発見できる可能性を示唆している。
• ギリシャ語やタイ語のような一部の言語では、ツリー構造が単純化されたり不正確だったりしたため、パフォーマンスが低下した。これは、本手法がツリー品質に敏感であることを示している。
• 結果から、TreeMAMLは、系統発生的関係以外の類似性—例えばジャンルや語彙借用—を学習したタスク階層で活用でき、従来の言語分類を超えた転移を強化できることが示唆された。