[論文レビュー] An empirical study of pretrained representations for few-shot classification

Tiago Ramalho, T. Sousbie+1 more|arXiv (Cornell University)|Oct 3, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 4

ひとこと要約

この論文は、少サンプル画像分類の特徴抽出器として事前学習された深層ニューラルネットワークを実証的に評価し、教師ありImageNetモデルが教師なしおよび敵対的に頑健なモデルよりも転移性能で優れていることを示している。事前学習特徴を用いた類似度ベースの少サンプル手法において、コサイン類似度が一貫してL2距離を上回ることを確認した。また、より深い教師ありバックボーンが、多様なデータセットにおいて優れた少サンプル精度を達成することも示した。

ABSTRACT

Recent algorithms with state-of-the-art few-shot classification results start their procedure by computing data features output by a large pretrained model. In this paper we systematically investigate which models provide the best representations for a few-shot image classification task when pretrained on the Imagenet dataset. We test their representations when used as the starting point for different few-shot classification algorithms. We observe that models trained on a supervised classification task have higher performance than models trained in an unsupervised manner even when transferred to out-of-distribution datasets. Models trained with adversarial robustness transfer better, while having slightly lower accuracy than supervised models.

研究の動機と目的

• 異なる事前学習モデルが少サンプル画像分類タスクにどの程度うまく転移するかを体系的に評価すること。
• 教師あり、教師なし、敵対的頑健性を持つモデルが、少サンプル学習におけるより良い特徴表現をもたらすかどうかを特定すること。
• 事前学習特徴を用いた少サンプル分類において、類似度関数（例：コサイン類似度 vs. L2距離）の影響を調査すること。
• MNIST や SVHN を含む、イン・ドメインおよびアウト・オブ・ドメインのデータセットにおける転移性能を評価すること。
• 特にエンド・トゥ・エンドで訓練されたモデルと比較して、事前学習バックボーンを効果的に使用するためのベストプラクティスを同定すること。

提案手法

• 本研究では、複数の事前学習畳み込みニューラルネットワークバックボーンを用いて、少サンプル分類手法による微調整または適応を評価した。
• 各事前学習モデルの最終層から特徴表現を抽出し、さらに訓練せずに、類似度ベースの少サンプル分類器の入力として使用した。
• 3つの適応手法を用いた：マッチングネットワーク、プロトタイプネットワーク、SGDを用いたロジスティック回帰。それぞれが異なる類似度関数（コサイン類似度、L2距離、正規化されていないドット積）と組み合わせられた。
• 5ショット、10ショット、それ以上の少サンプル設定で性能を測定し、サポートセットサイズの増加に伴う手法のスケーラビリティを評価した。
• ImageNetで学習されたモデルを、教師あり、自己教師あり、敵対的頑健性の目的関数で事前学習したモデルを比較し、転送可能性を評価した。
• 結果は全データセットで平均化され、平均精度として報告され、モデル間および手法間の比較を可能にした。

実験結果

リサーチクエスチョン

• RQ1 教師ありImageNetで事前学習されたモデルは、教師なしや敵対的頑健性を持つモデルよりも、少サンプル画像分類にうまく転移するのか？
• RQ2 事前学習特徴を用いた少サンプル分類において、類似度関数（コサイン類似度、L2距離、ドット積）の選択が性能に与える影響は何か？
• RQ3 イン・ドメインおよびアウト・オブ・ドメインのデータセット（例：MNIST や SVHN）において、事前学習特徴を用いた少サンプル分類モデルの性能は顕著に異なるのか？
• RQ4 事前学習モデルから特徴を抽出する際、バックボーンの深さとアーキテクチャが少サンプル分類精度に与える影響は何か？
• RQ5 エンド・トゥ・エンドで訓練された少サンプル学習における一般的なベストプラクティス（例：L2距離）は、事前学習特徴を用いる場合にも有効なのか？

主な発見

• 教師ありImageNetで事前学習されたモデルは、MNIST や SVHN などのアウト・オブ・ドメインデータセットでさえも、教師なしおよび敵対的頑健性を持つモデルを一貫して上回る性能を示した。
• 敵対的頑健性で事前学習されたモデルは、アウト・オブ・ドメインデータセットへの転移時、性能の低下が小さく抑えられるが、絶対的な精度は標準的な教師ありモデルよりわずかに低い。
• 教師なし事前学習手法は、教師あり事前学習と同等の性能に達せず、少サンプルタスクへの転送性能も優れていない。
• 事前学習特徴を用いた場合、コサイン類似度が一貫してL2距離を上回る性能を示したが、これはエンド・トゥ・エンドで訓練された少サンプルモデルとは対照的である。
• 1〜5ショットの範囲では、コサイン類似度を用いた類似度ベースの手法（例：プロトタイプネットワーク）が最も優れた性能を示したが、10ショット以上では、最終層を微調整する（SGDを用いたロジスティック回帰）方法がより効果的になった。
• EfficientNet-B7は、全データセットで最も安定した性能を示したが、WSLモデルは最適なハイパーパrameter設定下で最高のピーク精度を達成した。