[論文レビュー] Automated Relational Meta-learning

Huaxiu Yao, Xian Wu+5 more|arXiv (Cornell University)|Jan 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 22

ひとこと要約

本稿では、歴史的タスクからメタ知識グラフを自動的に構築することで、タスク間の関係性を捉え、新しいタスクに対するパーソナライズドな知識転送を可能にする、自動的関係的メタラーニング（ARML）というフレームワークを提案する。プロトタイプに基づく関係的グラフと動的に学習されたメタ知識グラフを活用することで、ARMLは少サンプル画像分類および2次元回帰ベンチマークで最先端の性能を達成し、従来の手法に比べて一般化性能と解釈可能性が顕著に向上する。

ABSTRACT

In order to efficiently learn with small amount of data on new tasks, meta-learning transfers knowledge learned from previous tasks to the new ones. However, a critical challenge in meta-learning is the task heterogeneity which cannot be well handled by traditional globally shared meta-learning methods. In addition, current task-specific meta-learning methods may either suffer from hand-crafted structure design or lack the capability to capture complex relations between tasks. In this paper, motivated by the way of knowledge organization in knowledge bases, we propose an automated relational meta-learning (ARML) framework that automatically extracts the cross-task relations and constructs the meta-knowledge graph. When a new task arrives, it can quickly find the most relevant structure and tailor the learned structure knowledge to the meta-learner. As a result, the proposed framework not only addresses the challenge of task heterogeneity by a learned meta-knowledge graph, but also increases the model interpretability. We conduct extensive experiments on 2D toy regression and few-shot image classification and the results demonstrate the superiority of ARML over state-of-the-art baselines.

研究の動機と目的

• タスク間の分布的差異によるメタラーニングにおけるタスク非均一性の問題に対処すること。特に、グローバルに共有されるメタラーナーがタスク間の分布差異によって失敗する状況を想定する。
• タスク固有のメタラーニング手法における手作業で設計された、あるいは剛性のあるタスク構造の限界を克服すること。
• タスク間の明示的な関係構造を学習・活用することで、モデルの解釈可能性を向上させること。
• 構造化されたメタ知識グラフから関連する知識を動的に取得することで、少サンプル学習の効果を高めること。
• 学習されたタスク間関係を用いて、メタラーナーを新しいタスクに効率的に適応させること。

提案手法

• ARMLはメタトレーニング中に、メタトレーニングタスクから得られるプロトタイプに基づく関係的グラフを要約することで、メタ知識グラフを構築する。
• メタ知識グラフの各頂点は、例えば「鳥と機体の輪郭の類似性」や「支配的テクスチャパターン」などのメタ知識の種類を表す。
• 各タスク内でクラスごとにプロトタイプに基づく関係的グラフを構築し、クラス内関係性を捉え、外れ値によるノイズを低減する。
• 複数のタスク固有のグラフからの情報を集約・要約するため、グラフアテンション機構を用いてメタ知識グラフを学習する。
• 推論段階では、新しいタスクのプロトタイプグラフがメタ知識グラフを照会し、知識注入に最も関連する頂点を特定・注目する。
• 微分可能グラフアテンション機構を用いることで、エンドツーエンドの学習と動的知識ルーティングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングフレームワークは、複雑で階層的でないタスク間の関係性を自動で発見・活用できるか？
• RQ2 自動的に構築されたメタ知識グラフは、グローバルに共有された構造や手作業で設計された構造と比較して、少サンプル学習性能をどのように向上させるか？
• RQ3 メタ知識グラフは、メタラーニングにおけるモデルの解釈可能性をどの程度向上させるか？
• RQ4 タスクが異なるデータ分布に位置する場合、ARMLはタスク非均一性をどのように処理するか？
• RQ5 グラフ構造の品質と頂点の意味的解釈が、下流の少サンプル画像分類精度に与える影響は何か？

主な発見

• 5-way, 1-shot Omniglotベンチマークでは47.92%の精度を達成し、次に優れた手法（HSML）を2.24ポイント上回った。
• 5-way, 5-shot mini-ImageNetベンチマークでは61.78%の精度を達成し、最先端手法のHSMLを0.95ポイント上回った。
• メタ知識グラフは意味的な関係性を的確に捉えている：V1は鳥と機体の形状類似性を表し、V2は支配的テクスチャパターンを捉え、V7はぼかしフィルタ処理済み画像に対応する。
• グラフ構造は非常に解釈可能で、V2が多数の他の頂点と接続される中枢的なハブとして機能しており、テクスチャベース特徴の一般化における役割が明確に示されている。
• ARMLは多様なデータ分布に対して頑健であり、2次元回帰および少サンプル画像分類の両タスクで一貫した性能向上を示した。
• アブレーションスタディの結果、メタ知識グラフが性能向上に顕著に寄与しており、グラフを削除または単純化すると性能が著しく低下することが確認された。