[論文レビュー] Learning from the Past: Continual Meta-Learning via Bayesian Graph Modeling

Yadan Luo, Zi Huang+4 more|arXiv (Cornell University)|Nov 12, 2019

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 8

ひとこと要約

本稿では、継続的メタラーニングフレームワークCML-BGNNを提案する。この手法はベイジアングラフニューラルネットワークを用いて、少数ショット学習における災難的忘却とトポロジーの不確実性を軽減する。タスク間相関をメモリ拡張型グラフネットワークでモデル化し、Bayes-by-Backpropを用いてロバストなエッジ推論を実現することで、mini-ImageNet 5-way 1-shotで88.62%の精度を達成し、SOTA比で42.8%の向上を達成した。

ABSTRACT

Meta-learning for few-shot learning allows a machine to leverage previously acquired knowledge as a prior, thus improving the performance on novel tasks with only small amounts of data. However, most mainstream models suffer from catastrophic forgetting and insufficient robustness issues, thereby failing to fully retain or exploit long-term knowledge while being prone to cause severe error accumulation. In this paper, we propose a novel Continual Meta-Learning approach with Bayesian Graph Neural Networks (CML-BGNN) that mathematically formulates meta-learning as continual learning of a sequence of tasks. With each task forming as a graph, the intra- and inter-task correlations can be well preserved via message-passing and history transition. To remedy topological uncertainty from graph initialization, we utilize Bayes by Backprop strategy that approximates the posterior distribution of task-specific parameters with amortized inference networks, which are seamlessly integrated into the end-to-end edge learning. Extensive experiments conducted on the miniImageNet and tieredImageNet datasets demonstrate the effectiveness and efficiency of the proposed method, improving the performance by 42.8% compared with state-of-the-art on the miniImageNet 5-way 1-shot classification task.

研究の動機と目的

• 少数ショット分類のためのメタラーニングにおける災難的忘却と不十分なロバスト性を解消すること。
• グラフ構造表現を用いて、長期的なタスク間相関と短期的なタスク内相関をモデル化すること。
• メッセージパッシング中にグラフトポロジーの不確実性をベイジアンパラメータ推論で扱うこと。
• 履歴集約にゲーテッドリカレントユニットを用いて、効率的かつ継続的な知識移転を可能にすること。
• タスク固有パラメータのアンモラライズド事後分布近似を通じて、低データ環境における一般化とロバスト性を向上させること。

提案手法

• モデルは各エピソードをグラフとして表現し、ノードをサポートサンプルおよびクエリサンプルとし、学習された類似度カーネルでエッジを定義する。
• メモリ拡張型グラフニューラルネットワークは、ゲーテッドリカレントユニットを用いて、タスク間で履歴ノード表現を集約・伝搬する。
• Bayes-by-Backpropを適用し、平均および分散パラメータを用いてタスク固有分類重みの事後分布を近似する。
• アンモラライズド推論ネットワークをエンドツーエンドに統合し、エッジ学習中に動的かつ不確実性を考慮したパrameter更新を可能にする。
• グラフ構造は時間とともに変化し、順次メッセージパッシングを通じて、タスク内隣接関係とタスク間依存関係を両方保持する。
• 完全ラベル付きおよび半教師あり設定をサポートし、ノイズや不完全な監督に対して耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのメタラーニングモデルは、継続的な少数ショットタスクのシーケンスにおいて、知識を効果的に保持できるか？
• RQ2 メッセージパッシングにおけるエッジ初期化のトポロジー不確実性をどのように軽減できるか？
• RQ3 リカレント履歴モデリングを組み込むことで、少数ショット学習における一般化性能がどの程度向上するか？
• RQ4 ベイジアンパラメータ推論は、低データおよびノイズのある環境でのロバスト性を向上させるか？
• RQ5 部分ラベル付きの半教師あり少数ショット学習では、モデルの性能はどの程度か？

主な発見

• CML-BGNNは、5-way 1-shotのmini-ImageNetベンチマークで88.62%の精度を達成し、SOTA手法比で42.8%の相対的向上を示した。
• 5-way 1-shot分類において、EGNNとGNNをそれぞれ30.0%および39.3%上回り、優れた知識保持能力を示した。
• 20%のラベル付きサポートデータを有する半教師あり5-way 5-shot学習では、CML-BGNNは88.95%の精度を達成し、EGNN（63.62%）およびGNN（52.45%）を著しく上回った。
• アブレーションスタディにより、タスク固有パラメータ推論を削除すると、5-way 5-shotで精度が92.69%から91.21%に低下し、その必要性が確認された。
• GNNでは1層から3層にグラフ深さを増加させると1-shot精度が3.4%向上、EGNNでは6.4%、CML-BGNNでは4.3%向上し、表現力の向上が示された。
• 履歴遷移モジュールに16個の隠れ状態を用いたモデルは、状態数が少ないバージョンを常に上回り、より豊かなメモリ表現の利点を裏付けた。