[論文レビュー] SB-MTL: Score-based Meta Transfer-Learning for Cross-Domain Few-Shot Learning

John Cai, Bill Cai+1 more|arXiv (Cornell University)|Dec 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 4

ひとこと要約

本稿では、一次のMAML最適化とスコアベースのグラフニューラルネットワーク（GNN）を組み合わせることで、急激なドメインシフト下でのクロスドメイン少数ショット学習を向上させる、新しい手法であるスコアベースメタ転移学習（SB-MTL）を提案する。事前ソフトマックス分類スコアをメトリクス空間にマッピングし、ラベル伝搬を用いて予測を精緻化するGNNを適用することで、BSCD-FSLベンチマークにおいて最先端の精度を達成し、従来のメタ学習および転移学習手法よりも平均で14.28%および5.93%高い性能を示した。

ABSTRACT

While many deep learning methods have seen significant success in tackling the problem of domain adaptation and few-shot learning separately, far fewer methods are able to jointly tackle both problems in Cross-Domain Few-Shot Learning (CD-FSL). This problem is exacerbated under sharp domain shifts that typify common computer vision applications. In this paper, we present a novel, flexible and effective method to address the CD-FSL problem. Our method, called Score-based Meta Transfer-Learning (SB-MTL), combines transfer-learning and meta-learning by using a MAML-optimized feature encoder and a score-based Graph Neural Network. First, we have a feature encoder with specific layers designed to be fine-tuned. To do so, we apply a first-order MAML algorithm to find good initializations. Second, instead of directly taking the classification scores after fine-tuning, we interpret the scores as coordinates by mapping the pre-softmax classification scores onto a metric space. Subsequently, we apply a Graph Neural Network to propagate label information from the support set to the query set in our score-based metric space. We test our model on the Broader Study of Cross-Domain Few-Shot Learning (BSCD-FSL) benchmark, which includes a range of target domains with highly varying dissimilarity to the miniImagenet source domain. We observe significant improvements in accuracy across 5, 20 and 50 shot, and on the four target domains. In terms of average accuracy, our model outperforms previous transfer-learning methods by 5.93% and previous meta-learning methods by 14.28%.

研究の動機と目的

• ソースドメインとターゲットドメインの間で分布シフトが生じる状況下で、既存手法が失敗する急激なドメインシフト下におけるクロスドメイン少数ショット学習（CD-FSL）の課題に対処すること。
• 人工衛星画像、医療画像、自然画像など、顕著に異なるドメイン間で性能を発揮できない現在のメタ学習および転移学習手法の限界を克服すること。
• 迅速な適応（メタ学習の強み）と特徴転送（転移学習の強み）を効果的に統合する統一フレームワークを構築し、ドメインを越えた堅牢な一般化を実現すること。
• 生の特徴ではなく分類スコアに基づくメトリクス空間を設計することで、ドメインに依存しない表現学習を可能にすること。
• 初期予測における非対称な誤りパターンをスコアベースのGNNが是正できることを示し、低ショット、分布外設定における耐障害性と精度を向上させること。

提案手法

• 微調整可能な層を備えた深層残差ネットワークを用い、一次のMAMLアルゴリズムにより、迅速な適応に適した初期重みを学習する。
• 微調整済みモデルの事前ソフトマックス分類スコアを、線形投影層を介して学習されたメトリクス空間にマッピングし、スコアベースの表現を生成する。
• スコアベースのメトリクス空間において、サポートセット画像からクエリ画像へラベル情報を伝搬するため、グラフニューラルネットワーク（GNN）を適用し、予測スコアと真のラベルに基づくメッセージパッシングを実現する。
• ノードがサポート画像およびクエリ画像を表すグラフを構築し、エッジは分類スコアの類似度を符号化することで、GNNが近隣集約により予測を精緻化できるようにする。
• 推論時にデータ拡張を統合することで、特に低ショット状況での性能をさらに向上させる。
• エピソード学習を用いてエンドツーエンドで訓練し、各エピソードで少数のクラスとそのサポートセット・クエリセットをサンプリングし、少数ショット一般化を最適化する。

実験結果

リサーチクエスチョン

• RQ1 メタ学習フレームワークは、顕著に異なるターゲットドメインにおいても、クロスドメイン少数ショット学習に効果的に一般化できるか？
• RQ2 GNNの入力として事前ソフトマックス分類スコアを使用することで、直接予測や特徴ベースのメトリクス学習と比較して、性能がどのように向上するか？
• RQ3 スコアベースのメトリクス空間は、低ショット状況下での過学習をどの程度軽減し、非対称な誤りパターンを是正できるか？
• RQ4 MAMLベースの微調整とGNNベースの再分類モジュールを組み合わせることで、BSCD-FSLベンチマークにおいて、単独のメタ学習や転移学習ベースラインを上回る性能が得られるか？
• RQ5 異なるドメインシフト度合いのドメインにおいて、スコアベースのGNNの性能はどのように変化するか？

主な発見

• SB-MTLはBSCD-FSLベンチマークで平均74.06%の精度を達成し、従来の最先端メタ学習手法よりも14.28%、転移学習手法よりも5.93%高い性能を示した。
• 50ショット設定では、EuroSATおよびCropDiseaseで、通常の教師あり深層学習モデルと同等またはそれ以上の精度を達成した。
• スコアベースのGNNの追加により、ベースラインのLinear MTL（一次のMAMLのみ）よりも精度が向上し、特にドメインシフトが中程度のCropDiseaseおよびEuroSATで最大の向上が観察された。
• 非対称性測定値から、SB-MTLはLinear MTLに比べ、CropDiseaseで63.95%、EuroSATで58.12%の誤り行列非対称性を低減しており、初期予測のバイアスを効果的に是正していることが示された。
• スコアベースのGNNは、ソースドメインに近いドメインで最も効果的であり、これはEuroSATおよびCropDiseaseでは高い精度向上が得られたが、ISICおよびChestXではそれほど顕著ではなかったことから裏付けられている。
• データ拡張だけでは性能差を説明できない。スコアベースのGNNは、特にドメインシフト度が高い状況下でも、顕著で一貫した性能向上を提供している。