[論文レビュー] Learning to Propagate for Graph Meta-Learning

Lu Liu, Tianyi Zhou+3 more|arXiv (Cornell University)|Sep 11, 2019

Domain Adaptation and Few-Shot Learning被引用数 49

ひとこと要約

本論文は Gated Propagation Network (GPN) を提案する。クラスプロトタイプをクラスグラフ上に伝播させて few-shot 分類を改善するメタラーナーで、メモリベースの生涯学習更新とマルチヘッドアテンションゲートを備える。ImageNet 後のグラフデータセットの2つでベースラインより一貫した利得を達成する。

ABSTRACT

Meta-learning extracts common knowledge from learning different tasks and uses it for unseen tasks. It can significantly improve tasks that suffer from insufficient training data, e.g., few shot learning. In most meta-learning methods, tasks are implicitly related by sharing parameters or optimizer. In this paper, we show that a meta-learner that explicitly relates tasks on a graph describing the relations of their output dimensions (e.g., classes) can significantly improve few shot learning. The graph's structure is usually free or cheap to obtain but has rarely been explored in previous works. We develop a novel meta-learner of this type for prototype-based classification, in which a prototype is generated for each class, such that the nearest neighbor search among the prototypes produces an accurate classification. The meta-learner, called "Gated Propagation Network (GPN)", learns to propagate messages between prototypes of different classes on the graph, so that learning the prototype of each class benefits from the data of other related classes. In GPN, an attention mechanism aggregates messages from neighboring classes of each class, with a gate choosing between the aggregated message and the message from the class itself. We train GPN on a sequence of tasks from many-shot to few shot generated by subgraph sampling. During training, it is able to reuse and update previously achieved prototypes from the memory in a life-long learning cycle. In experiments, under different training-test discrepancy and test task generation settings, GPN outperforms recent meta-learning methods on two benchmark datasets. The code of GPN and dataset generation is available at https://github.com/liulu112601/Gated-Propagation-Net.

研究の動機と目的

• 関連するクラス間でプロトタイプを伝播させることにより、クラス間のグラフ構造化された関係を活用して few-shot 学習を改善する。
• グラフ上の近隣クラス情報を統合してクラスプロトタイプを更新できるメタラーナーを開発する。
• 新しいタスクの学習を支援するためにプロトタイプのメモリを保持して生涯学習を可能にする。

提案手法

• プロトタイプは各クラスごとに K-shot サンプルを平均化して初期化し、グラフベースの伝播によって洗練される。
• メッセージを集約する際に、近傍プロトタイプの重み付けにマルチヘッドアテンションを用いる。
• 近傍伝播メッセージとクラス自身のメッセージのどちらを用いるかを決定するゲーティング機構を適用する。
• 直接の隣接だけでなく、複数のステップにわたってグラフ上でメッセージを伝播させ、関係推論を可能にする。
• 現在のタスクセットに隣接クラスが存在しない場合の伝播を支援するため、プロトタイプのメモリを保持する。
• 補助教師付きタスクやアニールを含むカリキュラム戦略で訓練し、伝播経路を制約する最大全域木を構築する。

実験結果

リサーチクエスチョン

• RQ1 クラスグラフ上で定義された明示的なタスク関係は、few-shot 分類のメタ学習を改善できるか？
• RQ2 グラフのエッジを横断してクラスプロトタイプを伝播させることは、従来のプロトタイプネットワークよりも良い決定境界を生み出すか？
• RQ3 メモリ、MSTベースの伝播経路、およびマルチヘッドゲートが性能と効率にどう寄与するか？
• RQ4 訓練クラスとテストクラス間のタスク距離（グラフのホップ数）の GPN 性能への影響は何か？

主な発見

• GPN は tiered ImageNet-Close および tiered ImageNet-Far の複数設定で、いくつかの最近の few-shot ベースラインを上回る。
• tiered ImageNet-Close でランダムサンプリングの場合、5-way 1-shot 精度: GPN 48.37% 対 Prototypical Net 42.87% および GPN+ 50.54%。
• 同じ設定で 5-way 5-shot、64.14% (GPN) 対 62.68% (Prototypical Net) および 65.74% (GPN+)。
• snowball sampling（より近いタスク関係）で、5-way 1-shot 精度: GPN 39.56% 対 Prototypical Net 35.27% および GPN+ 40.78%。
• tiered ImageNet-Far でランダムサンプリング、5-way 1-shot 精度: GPN 47.54% 対 Prototypical Net 44.30% および GPN+ 47.49%。
• 報告された全設定で、GPN はベースラインより顕著な改善をもたらし、訓練/テストクラスがグラフ上で近い場合により大きな利得が得らく（GPN+ がしばしば役立つ）。