[論文レビュー] Cross-Domain Few-Shot Learning with Meta Fine-Tuning

John Cai, Quan Z. Sheng|arXiv (Cornell University)|May 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 9被引用数 19

ひとこと要約

この論文では、メタラーニングフレームワークであるMeta Fine-Tuningを提案する。これは1次MAMLに基づくもので、少数のラベル付きデータを用いたクロスドメインのファインチューニングに最適化された初期重みを持つモデルを学習する。この手法をグラフニューラルネットワークとデータ拡張と統合することで、CVPR 2020のクロスドメイン少数ショット学習ベンチマークで平均73.78%の正確度を達成した。これは、miniImageNetのみで学習された先行研究の最良手法よりも6.51%高い結果である。

ABSTRACT

In this paper, we tackle the new Cross-Domain Few-Shot Learning benchmark proposed by the CVPR 2020 Challenge. To this end, we build upon state-of-the-art methods in domain adaptation and few-shot learning to create a system that can be trained to perform both tasks. Inspired by the need to create models designed to be fine-tuned, we explore the integration of transfer-learning (fine-tuning) with meta-learning algorithms, to train a network that has specific layers that are designed to be adapted at a later fine-tuning stage. To do so, we modify the episodic training process to include a first-order MAML-based meta-learning algorithm, and use a Graph Neural Network model as the subsequent meta-learning module. We find that our proposed method helps to boost accuracy significantly, especially when combined with data augmentation. In our final results, we combine the novel method with the baseline method in a simple ensemble, and achieve an average accuracy of 73.78% on the benchmark. This is a 6.51% improvement over existing benchmarks that were trained solely on miniImagenet.

研究の動機と目的

• 学習ドメインとテストドメインの分布が著しく異なる、深刻なドメインシフト下での少数ショット学習の課題に対処すること。
• 学習データとテストデータのドメインが類似していると仮定する従来の少数ショット学習モデルの限界を克服すること。
• 未学習ドメインにおいて、少数のラベル付き例で効果的にファインチューニングが可能なように、モデル重みを明示的に最適化するメタラーニングフレームワークを開発すること。
• 自然画像、医用画像、および衛星画像を含む多様なドメインにおけるロバスト性と一般化性能を向上させること。
• アンサンブル学習を用いてメタファインチューニングモデルと標準ファインチューニングベースラインを統合することで、優れた性能が得られることを示すこと。

提案手法

• ファインチューニングのサポートセット上で容易に適応可能な初期重みを学習できるように、1次MAMLをメタファインチューニングに適応する。
• サポートセットのサンプルとクエリサンプルの間の関係をモデル化するためにグラフニューラルネットワーク（GNN）を用い、ラベル予測のためのメッセージパッシングを可能にする。
• GNNに供給する前に、特徴埋め込みを低次元空間に射影することで表現学習を改善する。
• データ拡張を訓練段階だけでなく、サポートセットでのファインチューニング段階にも適用し、ロバスト性を向上させる。
• メタファインチューニングを修正されたベースラインファインチューニング手法と統合し、モデルアンサンブルにより分散を低減し、正確度を向上させる。
• エピソード学習中に特徴抽出器の初期層を固定し、最後のk層のみをファインチューニングすることで、ドメイン不変特徴を保持する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングは、推論時の高速適応のためのものではなく、ファインチューニングに特化して最適化されたモデルを学習するために適応可能か？
• RQ2 多様でドメイン外のデータセットにおいて、メタファインチューニングは標準ファインチューニングと比較してどの程度の性能を示すか？
• RQ3 特に低ショット状況下で、サポートセットでのファインチューニング段階にデータ拡張を適用した場合、その影響は何か？
• RQ4 アンサンブル学習によりメタファインチューニングモデルと標準ファインチューニングモデルを統合することで、ドメインをまたいで一貫した性能向上が得られるか？
• RQ5 ソースドメイン（miniImageNet）に近いドメインと遠いドメインにおいて、メタファインチューニングの性能はどのように変化するか？

主な発見

• GNNとデータ拡張を統合した提案手法Meta Fine-Tuningは、CVPR 2020ベンチマークの全12タスクで平均73.78%の正確度を達成し、miniImageNetでのみ学習された先行研究の最良手法よりも6.51%高い。
• 5ショットレベルでの改善が最も顕著で、ベースラインのFt-Last1モデルよりも8.48%の正確度向上を示しており、低ショット状況下での大きな利点が明らかになった。
• 20ショットレベルではベースラインより4.68%向上し、50ショットレベルでは6.38%向上しており、ショットレベルにかかわらず一貫した向上が確認された。
• メタファインチューニングはソースドメイン（miniImageNet）に近いドメイン（例：CropDisease, EuroSAT）で最も優れた性能を発揮した一方、データ拡張を施した標準ファインチューニングは、より遠いドメイン（例：ChestX）で優れた性能を示した。
• アブレーションスタディの結果、メタファインチューニングと単純なファインチューニング（データ拡張付き）は同等の結果を示したが、miniImageNetに類似したドメインではメタファインチューニングがわずかに優れていた。
• アンサンブル学習によりメタファインチューニングモデルとベースラインファインチューニングモデルを統合した結果、最も高い性能が得られ、モデル多様性が予測分散を低減する利点を確認した。