[論文レビュー] Relational Generalized Few-Shot Learning

Xiahan Shi, Leonard Salewski+3 more|arXiv (Cornell University)|Jul 22, 2019

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 16

ひとこと要約

本稿では、関係性を重み付きグラフでモデル化することで、学習済みクラスと新規クラスのプロトタイプを統合的に埋め込む、関係性を考慮した一般化少数 shot ラーニングのための新規フレームワークである Graph-convolutional Global Prototypical Networks (GcGPN) を提案する。グラフ畳み込みを用いて関係性情報を伝搬させることで、miniImageNet および CUB ベンチマークの両方で最先端の性能を達成し、学習済みクラスと新規クラスの両方における分類の一般化性能とグローバル一貫性が顕著に向上する。

ABSTRACT

Transferring learned models to novel tasks is a challenging problem, particularly if only very few labeled examples are available. Although this few-shot learning setup has received a lot of attention recently, most proposed methods focus on discriminating novel classes only. Instead, we consider the extended setup of generalized few-shot learning (GFSL), where the model is required to perform classification on the joint label space consisting of both previously seen and novel classes. We propose a graph-based framework that explicitly models relationships between all seen and novel classes in the joint label space. Our model Graph-convolutional Global Prototypical Networks (GcGPN) incorporates these inter-class relations using graph-convolution in order to embed novel class representations into the existing space of previously seen classes in a globally consistent manner. Our approach ensures both fast adaptation and global discrimination, which is the major challenge in GFSL. We demonstrate the benefits of our model on two challenging benchmark datasets.

研究の動機と目的

• 最小限のラベル付き例での学習を前提に、学習済みクラスと新規クラスの両方を分類できる一般化少数 shot ラーニング (GFSL) の課題に対処すること。
• 標準的な少数 shot ラーニングでは、新規クラスの識別にのみ注力し、ラベル空間全体におけるグローバル一貫性を保つことができないという制限を克服すること。
• 学習済みクラスと新規クラスの間のクラス間関係性を明示的にモデル化する統一フレームワークを導入し、プロトタイプの一般化性能と識別性能を向上させること。
• グラフ畳み込みネットワークを用いて関係性プロトタイプをエンドツーエンドで学習させ、未学習のタスクに対しても迅速な適応と高い性能を実現すること。
• 属性や分類体系などの補助情報（例：属性、分類体系）を微分可能でスケーラブルな方法で関係性事前知識として活用することで、最先端の結果を達成すること。

提案手法

• 属性、意味的埋め込み、類似度測定などの補助情報から、クラス間関係性を表す重み付きグラフを構築する。
• クラスプロトタイプの初期化：新規クラスのプロトタイプはサポートセットの特徴（平均プーリングによる）から、学習済みクラスのプロトタイプはトレーニング可能なパラメータとして設定する。
• グラフ畳み込みネットワーク (GCN) を用いて、統合ラベル空間内のすべてのクラスにわたり関係性情報を伝搬させ、グローバルに一貫した方法でプロトタイプを更新する。
• クエリ特徴と更新済みプロトタイプ間のコサイン類似度を分類に用い、推論エピソードにおける高速な推論を実現する。
• 変動する新規クラスを伴う N ワイズ K ショットタスクにおけるエピソード学習を用いて、メタラーニング設定下でモデル全体をエンドツーエンドで訓練する。
• 補助演算子（例：特徴変換、正規化）を統合し、関係性モデリングおよびアーキテクチャ的要素の影響を評価するためのアブレーションバリアントを検討する。

実験結果

リサーチクエスチョン

• RQ1 関係性グラフを用いてクラス間関係性をモデル化することで、標準的な少数 shot ラーニングをはるかに超えて、一般化性能が向上するか？
• RQ2 グローバルな関係構造を組み込むことで、新規クラスへの迅速な適応と、学習済みクラスにおける識別性能の両立がどのように影響を受けるか？
• RQ3 属性や分類体系といった異なる種類の補助情報源（例：属性対分類体系）が、関係性を考慮した GFSL モデルの性能にどの程度影響を与えるか？
• RQ4 プロトタイプの最適化にグラフ畳み込み演算を用いることで、標準的なプロトタイプネットワークに比べて一般化性能が向上するか？
• RQ5 提案されたフレームワークは、性能を損なわず、さまざまな関係性演算子や補助モジュールを柔軟に統合できるか？

主な発見

• GcGPN は 1-shot および 5-shot の一般化少数 shot ラーニングベンチマークで最先端の性能を達成し、miniImageNet では 50.35% の Joint-Joint 正答率および 45.92% の調和平均を達成した。
• CUB では 1-shot 環境下で 50.62% の Joint-Joint 正答率および 49.53% の調和平均を達成し、DFSLwoF を含む先行手法を顕著に上回った。
• ベースライン手法と比較して、Novel-Joint 正答率が 10 パcentage point 以上向上しており、新規クラスがグローバルラベル空間にうまく統合されていることが示された。
• 特徴変換（GcGPN-aux-fc θB）などの補助演算子は、特に低ショット環境下で性能を向上させ、表現能力の向上の効果を示した。
• CUB では、細分化された属性情報を使った場合、分類体系に基づく類似度に比べて約 3% の正答率向上が得られ、高品質な関係性事前知識の重要性が強調された。
• アブレーションスタディの結果、関係性モデリングを新規クラスと学習済みクラス間の接続に限定すると性能が低下することが確認され、すべてのクラスをカバーするグローバルな関係伝搬の必要性が裏付けられた。