[論文レビュー] Selecting Relevant Features from a Multi-domain Representation for Few-shot Classification

Nikita Dvornik, Cordelia Schmid+1 more|arXiv (Cornell University)|Mar 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 54被引用数 12

ひとこと要約

本稿では、多様な特徴抽出器から構成される多ドメイン表現を活用することで、少数ショット分類のためのシンプルで効果的な特徴選択手法SUR（Selecting from Universal Representations）を提案する。勾配降下法を用いてサポートセット上で学習可能なマスキングパラメータを最適化することで、各少数ショットタスクに最も関連性の高い特徴のみを選択し、パrameterized適応モジュールを必要とせずにMetaDatasetで最先端の性能を達成するとともに、mini-ImageNetでも精度が向上する。

ABSTRACT

Popular approaches for few-shot classification consist of first learning a generic data representation based on a large annotated dataset, before adapting the representation to new classes given only a few labeled samples. In this work, we propose a new strategy based on feature selection, which is both simpler and more effective than previous feature adaptation approaches. First, we obtain a multi-domain representation by training a set of semantically different feature extractors. Then, given a few-shot learning task, we use our multi-domain feature bank to automatically select the most relevant representations. We show that a simple non-parametric classifier built on top of such features produces high accuracy and generalizes to domains never seen during training, which leads to state-of-the-art results on MetaDataset and improved accuracy on mini-ImageNet.

研究の動機と目的

• 限られたラベル付きデータにおける少数ショット分類の課題に取り組むことにより、多様な視覚的ドメインにわたる一般化を向上させること。
• 複雑でタスク固有の適応モジュールを必要とする従来の適応ベース手法の限界を克服すること。
• 事前学習済みの多ドメイン表現からの特徴選択が、ドメイン間少数ショット学習においてパrameterized適応を上回ることを示すこと。
• 同じ選択メカニズムが、タスク固有の適応を必要としない単一ドメインの少数ショット学習設定でも性能を向上させることを示すこと。

提案手法

• 多様なデータ分布上で学習された、意味的に異なる8つの特徴抽出器を用いて多ドメイン表現を構築する。
• 各少数ショットタスクにおいて、サポートセット上で確率的勾配降下法を用いて学習可能なマスキングパラメータλを最適化し、関連する特徴抽出器を選択する。
• 選択された特徴に対して非パrametricなプロトタイプ分類器を用いてクラスラベルを予測する。
• 標準的な教師あり学習を用いて、大規模なメタトレーニングセット上で特徴抽出器を学習する。
• 単一ドメインのシナリオにおいて、単一ネットワークの途中層に同じ選択メカニズムを適用し、多ドメイン設定を模擬する。
• MetaDataset（ドメイン間）およびmini-ImageNet（単一ドメイン）のベンチマークで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 多ドメイン表現からの特徴選択は、少数ショット分類においてパrameterized適応を上回ることができるか？
• RQ2 提案手法は、トレーニング時に見られなかったドメインにも一般化可能か、特にドメイン間少数ショット学習においてか？
• RQ3 同じ選択メカニズムは、タスク固有の適応を必要としない単一ドメインの少数ショット分類でも性能を向上させることができるか？
• RQ4 異なるテストドメインにおいて、選択された特徴表現はどれほどスパarsityで解釈可能か？

主な発見

• SURは、5ショットのMetaDatasetで79.25%の最先端の精度を達成し、複雑な適応モジュールを用いた先行手法を上回った。
• 1ショットのMetaDatasetでは60.79%の精度を達成し、未観測ドメインへの強力な一般化を示した。
• 単一ドメイン設定のmini-ImageNetでは、5ショットで80.04%、1ショットで63.13%の精度に向上し、単層および連結ベースラインを上回った。
• 選択パラメータλはスパarsityで解釈可能であり、SURが各タスクでわずか数個の関連する特徴抽出器のみを選択していることが示された。同じ分布からのデータセット（例：CIFAR-10とCIFAR-100）では、類似した選択パターンを示した。
• Robust20-dist特徴抽出器では、5ショットではわずかな向上、1ショットではわずかな劣化が見られた。これは、最終層がすでに高度に最適化されており、不適切な選択によって損なわれる可能性があることを示唆している。
• アブレーションスタディにより、多ドメイン表現が性能に不可欠であることが確認された。最後の層のみを用いるか、すべての層を連結しても、学習された特徴選択の精度は下回った。