[論文レビュー] Large Margin Mechanism and Pseudo Query Set on Cross-Domain Few-Shot Learning

Jia-Fong Yeh, Hsin-Ying Lee+4 more|arXiv (Cornell University)|May 19, 2020

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿では、ラベル付きデータが極めて少ない状況下で未学習ドメインにモデルを適応させるという課題に取り組む、クロスドメイン少数-shot学習（CD-FSL）のための新しいファインチューニング手法LMM-PQSを提案する。PQS（仮想クエリセット）を導入することでクエリベースのファインチューニングを可能にするとともに、プロトタイプ三重損失（PT損失）と大マージンコサイン損失（LMCL）を組み合わせることで、ゼロショット一般化性能が顕著に向上し、衛星画像、医用画像、植物病害虫画像など多様なドメインで強力なベースラインを上回る性能を示した。

ABSTRACT

In recent years, few-shot learning problems have received a lot of attention. While methods in most previous works were trained and tested on datasets in one single domain, cross-domain few-shot learning is a brand-new branch of few-shot learning problems, where models handle datasets in different domains between training and testing phases. In this paper, to solve the problem that the model is pre-trained (meta-trained) on a single dataset while fine-tuned on datasets in four different domains, including common objects, satellite images, and medical images, we propose a novel large margin fine-tuning method (LMM-PQS), which generates pseudo query images from support images and fine-tunes the feature extraction modules with a large margin mechanism inspired by methods in face recognition. According to the experiment results, LMM-PQS surpasses the baseline models by a significant margin and demonstrates that our approach is robust and can easily adapt pre-trained models to new domains with few data.

研究の動機と目的

• ドメインのシフトが顕著な新規ドメインに少数-shotモデルを適応させる課題に対処すること。
• ファインチューニング段階でクエリセットが入手できないという制限を克服し、標準的な少数-shotモデルの適応を可能にすること。
• 大マージン学習とプロトタイプベース学習を統合することで、クロスドメイン少数-shot学習におけるモデル一般化性能を向上させること。
• 仮想クエリセットとマージン強化損失関数を用いたファインチューニングが、未学習ドメインにおいて優れた性能を発揮することを実証すること。
• ラベル付きデータが極めて限られた実世界の少数-shot学習に実用的でデータ効率の良い解決策を提供すること。

提案手法

• 仮想クエリセット（PQS）は、ファインチューニング段階で合成クエリサンプルを生成し、メタトレーニングフェーズを模倣することで、クエリに類似したデータを用いた勾配更新を可能にする。
• プロトタイプ三重損失（PT損失）は、プロトタイプ学習と三重損失を統合し、サポートセット特徴量のクラス内コンパクト性とクラス間分離性を向上させる。
• 大マージンコサイン損失（LMCL）は、CD-FSLをニアオープンセット問題として扱い、異なるクラス間の角度マージンを大きくすることで制約を課す。
• 本手法はPQS、PT損失、LMCLをファインチューニングフレームワーク内に統合し、標準的な少数-shotモデルが新ドメインに効果的に適応できるようにする。
• 本アプローチは、サポートセットと合成クエリセットのみを用いたエンドツーエンド学習を可能にし、メタラーニングのトレーニングダイナミクスを維持する。
• ResNet10/18などのバックボーンや、BaselineやProtoNetといったモデルに対して、提案されたコンponentsを用いてファインチューニングを行い、アーキテクチャ間での一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 クエリベース学習を模倣するファインチューニング戦略が、クロスドメイン設定における少数-shotモデル適応に効果を発揮するか？
• RQ2 実際のクエリデータがファインチューニング段階で入手不可である状況下で、仮想クエリセットの導入がモデル一般化性能に与える影響は何か？
• RQ3 プロトタイプ三重損失と大マージンコサイン損失が、クロスドメイン少数-shot学習における特徴の識別性能をどの程度向上させるか？
• RQ4 提案手法は、多様でドメイン外のデータセットにおいて、標準的な少数-shot学習および一般DNNファインチューニング手法を上回る性能を示すか？
• RQ5 標準的なバックボーンを標準的手法で訓練した後、少数-shotスタイルのコンponentsを用いてファインチューニングしても、依然として良好な一般化性能を発揮できるか？

主な発見

• LMM-PQSは、CropDisease、EuroSAT、ISICを含むすべての評価データセットで競合するベースラインを顕著に上回り、未学習ドメインへの強い一般化性能を示した。
• 5ショット設定では、LMM-PQSはCropDisease（87.2%）とEuroSAT（85.4%）で最高精度を記録し、次に優れた手法を3%以上上回った。
• 異なるバックボーンにおいても一貫した向上が観察された。LMM-PQSを適用したBaselineは、ほとんどのデータセットで特に5ショット設定において、ProtoNetベースのモデルを上回る精度を達成した。
• T-SNEを用いた可視化により、PT損失とLMCLがクラス内とクラス間の特徴距離のマージンを拡大していることが確認され、特にCropDiseaseとEuroSATで顕著であった。
• Grad-CAM分析では、LMM-PQSが誤予測時でさえも画像の顕著な領域により一貫して注目していることが示され、注目メカニズムの整合性が向上していることを示した。
• 改善は見られたが、ChestX-ray（ChestX）では性能向上が限定的であり、PT損失による精度向上もわずかにとどどまっていることから、ドメイン類似性の課題が依然として残っていることが示唆された。