[論文レビュー] ECKPN: Explicit Class Knowledge Propagation Network for Transductive Few-shot Learning

Chaofan Chen, Xiaoshan Yang+3 more|arXiv (Cornell University)|Jun 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 6

ひとこと要約

本論文は、比較、圧縮、キャリブレーションモジュールのパイプラインを通じてクラスレベルの知識を明示的にモデル化する、新しいトランスductive few-shot learningフレームワークECKPNを提案する。判別的なクラス表現を学習し、グラフベースのメッセージパッシングによってそれを伝搬することで、4つのベンチマークで最先端の性能を達成し、5-way 1-shot設定において最大1.5%の精度向上を達成した。

ABSTRACT

Recently, the transductive graph-based methods have achieved great success in the few-shot classification task. However, most existing methods ignore exploring the class-level knowledge that can be easily learned by humans from just a handful of samples. In this paper, we propose an Explicit Class Knowledge Propagation Network (ECKPN), which is composed of the comparison, squeeze and calibration modules, to address this problem. Specifically, we first employ the comparison module to explore the pairwise sample relations to learn rich sample representations in the instance-level graph. Then, we squeeze the instance-level graph to generate the class-level graph, which can help obtain the class-level visual knowledge and facilitate modeling the relations of different classes. Next, the calibration module is adopted to characterize the relations of the classes explicitly to obtain the more discriminative class-level knowledge representations. Finally, we combine the class-level knowledge with the instance-level sample representations to guide the inference of the query samples. We conduct extensive experiments on four few-shot classification benchmarks, and the experimental results show that the proposed ECKPN significantly outperforms the state-of-the-art methods.

研究の動機と目的

• 既存のトランスductiveグラフベースのfew-shot学習手法がグローバルなクラスレベルの知識を無視するという限界に対処すること。
• クラスレベルの視覚的および意味的知識を明示的に学習・伝搬させ、クエリサンプル分類の性能を向上させること。
• インスタンスレベルとクラスレベルの知識を統合する、モジュラーでエンドツーエンドのグラフニューラルネットワークを設計すること。
• クラスレベルの知識を明示的にモデル化することで、低ショット状況下でのモデルのロバストネスと精度が向上することを示すこと。

提案手法

• 比較モジュールは、マルチヘッド関係を用いてインスタンスレベルのグラフにおける微細なペアワイズサンプル関係を捉え、視覚的特徴次元に跨るグループワイズな特徴集約を可能にする。
• 圧縮モジュールは、各クラスごとのサポートサンプルを集約することでインスタンスレベルのグラフをクラスレベルのグラフに圧縮し、初期のクラスレベル表現を形成する。
• キャリブレーションモジュールは、学習されたクラス埋め込みを用いてクラス間関係を明示的にモデル化し、クラスレベルの知識を精錬して判別性を向上させる。
• 視覚的特徴とテキスト埋め込み（例：CLIPからのもの）を統合することで、マルチモーダルなクラス表現を構築し、クラスレベルの知識を豊かにする。
• 最終的な推論では、インスタンスレベルのサンプル表現とキャリブレーション済みのクラスレベル知識を組み合わせてクエリ分類を実行する。
• エピソード学習を用いたメタラーニングにより、エンドツーエンドで訓練される。各エピソードには、少サンプル適応用のサポートセットとクエリセットが含まれる。

実験結果

リサーチクエスチョン

• RQ1 クラスレベルの知識を明示的にモデル化することで、インスタンスレベルの関係を超えたfew-shot分類性能の向上が可能か？
• RQ2 クラスレベルで視覚的および意味的知識を統合することで、低ショット状況下でのモデル一般化性能にどのような影響を与えるか？
• RQ3 マルチヘッド関係を用いた構造的メッセージパッシングが、微細なサンプル比較を捉える上で果たす貢献は何か？
• RQ4 圧縮モジュールとキャリブレーションモジュールが、トランスductive few-shot学習において個別にどのように性能に影響を与えるか？

主な発見

• ECKPNは、4つのfew-shotベンチマークで最先端の性能を達成し、Conv-4を用いたminiImageNet（5-way 1-shot）で68.89%の精度、ResNet-12を用いた場合で70.48%の精度を達成した。
• Conv-4とResNet-12のバックボーンを用いた場合、キャリブレーションモジュールを追加することで、ベースラインよりそれぞれ0.65%および0.72%の精度向上が達成された。
• 圧縮モジュールとキャリブレーションモジュールを削除した（None-Classバージョン）場合、Conv-4とResNet-12の両方で、それぞれ1.57%および1.36%の精度低下が生じ、これらのモジュールの重要性が示された。
• 比較モジュールで8ヘッド関係を使用した場合が、精度と複雑さの最適なトレードオフとなり、この設定で性能がピークに達した。
• マルチモーダルクラス知識（視覚的＋テキスト的）は顕著な貢献を示し、アブレーション実験から両モalityを併用した場合に0.7–0.9%の性能向上が確認された。
• 比較モジュールにおけるメッセージパッシング層が6層に達した後、モデルの性能は安定化し、表現学習に十分な深さであることが示された。