[論文レビュー] A New Benchmark for Evaluation of Cross-Domain Few-Shot Learning.

Yunhui Guo, Noel Codella+4 more|arXiv (Cornell University)|Dec 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 39

ひとこと要約

本論文は、人工衛星、皮膚科、レントゲン画像など多様な画像モダリティをカバーする、クロスドメイン少数ショット学習を評価するためのBSCD-FSLベンチマークを導入する。実験の結果、最先端のメタラーニング手法は単純な微調整よりも平均12.8%低い精度を示し、性能は自然画像に近いデータセットに強い相関を示すことが判明した。

ABSTRACT

Recent progress on few-shot learning largely relies on annotated data for meta-learning: base classes sampled from the same domain as the novel classes. However, in many applications, collecting data for meta-learning is infeasible or impossible. This leads to the cross-domain few-shot learning problem, where there is a large shift between base and novel class domains. While investigations of the cross-domain few-shot scenario exist, these works are limited to natural images that still contain a high degree of visual similarity. No work yet exists that examines few-shot learning across different imaging methods seen in real world scenarios, such as aerial and medical imaging. In this paper, we propose the Broader Study of Cross-Domain Few-Shot Learning (BSCD-FSL) benchmark, consisting of image data from a diverse assortment of image acquisition methods. This includes natural images, such as crop disease images, but additionally those that present with an increasing dissimilarity to natural images, such as satellite images, dermatology images, and radiology images. Extensive experiments on the proposed benchmark are performed to evaluate state-of-art meta-learning approaches, transfer learning approaches, and newer methods for cross-domain few-shot learning. The results demonstrate that state-of-art meta-learning methods are surprisingly outperformed by earlier meta-learning approaches, and all meta-learning methods underperform in relation to simple fine-tuning by 12.8% average accuracy. Performance gains previously observed with methods specialized for cross-domain few-shot learning vanish in this more challenging benchmark. Finally, accuracy of all methods tend to correlate with dataset similarity to natural images, verifying the value of the benchmark to better represent the diversity of data seen in practice and guiding future research.

研究の動機と目的

• メタラーニングがベースクラスと新規クラスを同じドメインから選ぶという研究ギャップを解消する。これは、現実のデータ収集制約を反映していない。
• 自然画像と医療画像や航空写真など、著しく異なる画像モダリティから成るベースクラスと新規クラスを用いたクロスドメイン少数ショット学習の課題を調査する。
• 現実のデータ多様性をよりよく反映し、ドメインシフト下でのモデル一般化を評価できるように、多様な画像取得方法をカバーする包括的なベンチマークを開発する。
• 自然画像の類似性を超えた極端なドメインシフト下で、既存のメタラーニング、トランスファーラーニング、クロスドメイン少数ショット学習手法の耐障害性を評価する。

提案手法

• 農作物病害、人工衛星、皮膚科、レントゲン画像など、複数の画像モダリティから成るデータセットを含む、クロスドメイン少数ショット学習のためのBSCD-FSLベンチマークを提案する。
• 自然画像からの視覚的類似性を段階的に低下させることで、クロスドメイン少数ショット学習に挑戦的な環境を構築する。
• 標準的な少数ショット学習プロトコルに従い、BSCD-FSLベンチマーク上で最先端のメタラーニング、トランスファーラーニング、特化型クロスドメイン少数ショット学習手法を評価する。
• すべてのドメインで標準的な少数ショット学習評価指標（特に少数ショット精度）を用い、ドメインシフト下での手法性能を比較する。
• モデルの精度とデータセットの自然画像への視覚的類似性との相関を測定することで、性能トレンドを分析する。
• 極端なドメインシフト下でのさまざまな学習パラダイムの有効性を評価するため、広範なアブレーションおよび比較実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 多様な画像モダリティにわたる高いドメインシフトを有するベンチマーク上で、最先端のメタラーニング手法はどの程度の性能を示すか？
• RQ2 ベースクラスと新規クラスのドメイン間の視覚的類似性が、少数ショット学習手法の性能にどの程度影響を与えるか？
• RQ3 クロスドメイン少数ショット学習に特化した手法は、極端なドメインシフトを伴うより現実的で多様なベンチマークでもその優位性を維持できるか？
• RQ4 クロスドメイン少数ショット学習の文脈において、単純な微調整は複雑なメタラーニングアプローチと比べてどの程度優れているか？

主な発見

• 最先端のメタラーニング手法は、BSCD-FSLベンチマーク上で、以前のメタラーニング手法に劣る結果を示しており、ドメインシフト下では最近の手法的進展の効果が薄れることを示している。
• すべてのメタラーニング手法が、ベンチマーク全体で平均12.8%の精度差で単純な微調整に劣っており、現在のメタラーニングパラダイムが現実のクロスドメイン環境で限界を示していることを示している。
• 過去のクロスドメイン少数ショット学習研究で観察された性能向上は、非自然画像モダリティを含むより多様で挑戦的なBSCD-FSLベンチマークでは消失する。
• モデルの精度は、データセットの自然画像への視覚的類似性と強く相関しており、ベンチマークが現実のデータ多様性を適切に反映していることを裏付けている。
• ベンチマークは、現在の少数ショット学習手法が極端なドメインシフト下で脆弱であり、自然画像を超える画像モダリティには耐性がないことを明らかにした。
• 結果から、ベースクラスと新規クラスの視覚的類似性に依存せず、著しく異なる画像モダリティを横断的に一般化できる新しい学習パラダイムの必要性が示唆される。