[論文レビュー] A Broader Study of Cross-Domain Few-Shot Learning

Yunhui Guo, Noel Codella+6 more|arXiv (Cornell University)|Dec 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 68被引用数 16

ひとこと要約

本論文は、自然画像とは顕著に異なる、衛星画像、皮膚科画像、レントゲン画像など多様な画像ドメインをカバーする、少数ショット学習のための新しいベンチマークBSCD-FSLを紹介する。驚くべきことに、最先端のメタラーニング手法は、平均で12.8%劣る単純なファインチューニングを下回り、一部のケースではランダム重みのネットワークでさえも下回る。これは、現実のドメインシフトが顕著な状況下における現在のアプローチの限界を浮き彫りにする。

ABSTRACT

Recent progress on few-shot learning largely relies on annotated data for meta-learning: base classes sampled from the same domain as the novel classes. However, in many applications, collecting data for meta-learning is infeasible or impossible. This leads to the cross-domain few-shot learning problem, where there is a large shift between base and novel class domains. While investigations of the cross-domain few-shot scenario exist, these works are limited to natural images that still contain a high degree of visual similarity. No work yet exists that examines few-shot learning across different imaging methods seen in real world scenarios, such as aerial and medical imaging. In this paper, we propose the Broader Study of Cross-Domain Few-Shot Learning (BSCD-FSL) benchmark, consisting of image data from a diverse assortment of image acquisition methods. This includes natural images, such as crop disease images, but additionally those that present with an increasing dissimilarity to natural images, such as satellite images, dermatology images, and radiology images. Extensive experiments on the proposed benchmark are performed to evaluate state-of-art meta-learning approaches, transfer learning approaches, and newer methods for cross-domain few-shot learning. The results demonstrate that state-of-art meta-learning methods are surprisingly outperformed by earlier meta-learning approaches, and all meta-learning methods underperform in relation to simple fine-tuning by 12.8% average accuracy. Performance gains previously observed with methods specialized for cross-domain few-shot learning vanish in this more challenging benchmark. Finally, accuracy of all methods tend to correlate with dataset similarity to natural images, verifying the value of the benchmark to better represent the diversity of data seen in practice and guiding future research.

研究の動機と目的

• 自然画像とは異なる医療画像や衛星画像を含む実世界の画像ドメインをカバーしない少数ショット学習ベンチマークのギャップを埋める。
• ベースクラスとネイティブクラスの間で大きなドメインシフトが生じる状況下で、メタラーニングおよびトランスファーラーニング手法の性能を調査する。
• クロスドメイン少数ショット学習に特化した手法が、顕著に異なるドメインに一般化できるかを評価する。
• 多様な画像取得方法を想定した現実的な少数ショット学習シナリオにおける今後の研究を支援する標準化されたベンチマークを提供する。

提案手法

• 自然画像（例：CropDiseases）、衛星（EuroSAT）、皮膚科（ISIC）、レントゲン（ChestX）のデータセットを含む、自然画像から徐々に類似度が低下するBSCD-FSLベンチマークを提案する。
• ドメインの類似度を測るための3つの直交的基準を定義する：視覚的歪み、意味的コンテンツ、色深度。
• ImageNetをソースドメインとして学習し、メタラーニング用データなしでターゲットドメインで評価する。クラス集合は完全に非交差であることを保証する。
• 最先端のメタラーニング手法、トランスファーラーニング手法、およびクロスドメイン特化手法を、すべてのドメインで評価する。
• 5つの事前学習モデル（ImageNet、CIFAR100、DTD、CUB、Caltech256）のライブラリから最適なモデルを選択するインクリメンタルマルチモデル選択戦略（IMS-f）を実装する。
• 1データセットあたり600エピソードの5-way 50-shotエピソードを用いて、評価の信頼性を確保し、モデル選択頻度を可視化して分析する。

実験結果

リサーチクエスチョン

• RQ1 自然画像とは顕著に異なるドメイン（例：医療画像、衛星画像）に対して評価された場合、最先端のメタラーニング手法はどの程度の性能を示すか？
• RQ2 少数ショット学習手法の性能は、ターゲットデータセットの自然画像との類似度にどの程度相関するか？
• RQ3 トランスファーラーニングとしてのファインチューニングは、クロスドメイン少数ショット学習において、特化したメタラーニング手法を上回る可能性があるか？
• RQ4 クロスドメイン少数ショット学習に特化した手法は、より広範かつ挑戦的なベンチマークでもその利点を維持できるか？
• RQ5 どの事前学習モデルが多様なターゲットドメインにおいて最も効果的か？また、モデル選択の傾向はデータセットごとにどのように変化するか？

主な発見

• 最先端のメタラーニング手法は、すべてのデータセットおよびショットレベルで、単純なファインチューニングを平均で12.8%劣る。
• 一部のケースでは、メタラーニング手法がランダム重みのネットワークよりも性能が悪いこともあり、これは高レベルのドメインシフト下での一般化失敗を示している。
• すべての手法の性能は、データセットの自然画像との類似度と強く相関しており、本ベンチマークが現実の多様性を的確に反映していることを裏付けている。
• インクリメンタルマルチモデル選択法（IMS-f）は、単一モデルトランスファーに比べ、EuroSATでは最大3.52%、ISICでは0.69%の精度向上を達成した。
• EuroSATおよびCropDiseasesでは、より多くの事前学習モデルを追加しても、ほとんど利益が得られず、ImageNet特徴がすでに主要な特徴を捉えていることが示唆された。
• モデル選択頻度はデータセットによって顕著に異なる：CropDiseasesでは98.6%のケースでImageNetが選択されたが、ISICではCIFAR100およびDTDで学習されたモデルが好まれた。