[論文レビュー] Weak-shot Fine-grained Classification via Similarity Transfer

Junjie Chen, Li Niu+2 more|arXiv (Cornell University)|Sep 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 9

ひとこと要約

本論文では、清浄なベースカテゴリセットから得られる対比較的意味的類似度を、ノイズの多いウェブ収集された新規カテゴリに転送する弱いショットの細分類手法であるSimTransを提案する。サンプル重み付けとグラフ正則化を用いた類似度転送により、ウェブデータのノイズ除去を効果的に行い、一般化された弱いショット設定下で、FGVCでは最大4.8%、CUBでは最大5.4%の性能向上を達成した。

ABSTRACT

Recognizing fine-grained categories remains a challenging task, due to the subtle distinctions among different subordinate categories, which results in the need of abundant annotated samples. To alleviate the data-hungry problem, we consider the problem of learning novel categories from web data with the support of a clean set of base categories, which is referred to as weak-shot learning. In this setting, we propose a method called SimTrans to transfer pairwise semantic similarity from base categories to novel categories. Specifically, we firstly train a similarity net on clean data, and then leverage the transferred similarity to denoise web training data using two simple yet effective strategies. In addition, we apply adversarial loss on similarity net to enhance the transferability of similarity. Comprehensive experiments demonstrate the effectiveness of our weak-shot setting and our SimTrans method. Datasets and codes are available at https://github.com/bcmi/SimTrans-Weak-Shot-Classification.

研究の動機と目的

• 細分類におけるデータ集約の課題、特にアノテーション付きデータが不足する新規カテゴリに対して、解決を図ること。
• 自由に入手可能なウェブ画像を新規カテゴリに活用する弱いショット学習の枠組みを構築すること。これには、清浄なベースカテゴリセットの支援が必要である。
• ベースカテゴリから新規カテゴリへの対比較的意味的類似度の転送により、ウェブ収集データのラベルノイズを軽減すること。
• 類似度ネットワークにおける敵対的損失を用いて、ベースカテゴリと新規カテゴリ間での類似度転送性を向上させること。
• 類似度転送とウェブリー監視学習を組み合わせた手法の有効性を実証すること。

提案手法

• 清浄なベースカテゴリ画像上で類似度ネットワーク（SimNet）を学習し、画像ペア間の対比較的意味的類似度を予測する。
• 訓練済みのSimNetを用いて、新規カテゴリのウェブ画像間の類似度を予測し、カテゴリ集合が不一致であってもカテゴリ間の類似度転送を可能にする。
• 類似度が他の画像と異なる画像の重みを低くすることで、ノイズの多いラベルの影響を軽減するためのサンプル重み付けを適用する。
• 意味的に類似した画像の特徴を埋め込み空間内で近づけるようにグラフ正則化を適用し、ラベルノイズに対してより頑健な性能を実現する。
• 類似度ネットワークに敵対的損失を統合し、ベースカテゴリと新規カテゴリ間での一般化性能および転送性を向上させる。
• 類似度に基づくノイズ除去と、ウェブデータ上で訓練されたメイン分類器ヘッドを統合し、融合戦略（Fusion1/Fusion2）を用いて性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 清浄なベースカテゴリセットから学習した対比較的意味的類似度は、新規の細分類カテゴリのウェブ収集画像のノイズ除去に効果的に転送可能か？
• RQ2 専門家によるアノテート済み属性や少数の例が入手できない状況下で、類似度転送はゼロショットまたはフェイントショット学習と比較して、性能面および実用面で優れているか？
• RQ3 転送された類似度に基づくサンプル重み付けとグラフ正則化は、弱教師付き設定下での分類器のラベルノイズに対する頑健性をどの程度向上させるか？
• RQ4 一般化された弱いショット学習設定下で、本手法はテストデータにベースカテゴリと新規カテゴリが混在する状況でも効果を発揮するか？
• RQ5 ウェブ画像の数、ノイズ比、バックボーン選択が、本手法の頑健性とスケーラビリティに与える影響は何か？

主な発見

• 一般化された弱いショット学習設定下で、FGVCデータセットにおいてSimTransは81.7%の精度を達成し、最良のベースライン（Fusion2）を2.4ポイント上回った。
• CUBデータセットでは、SimTransは76.9%の精度に達し、次に優れた手法（Fusion2）を1.9ポイント上回った。
• Carデータセットでは、SimTransは80.4%の精度を達成し、最良のベースライン（Fusion2）を2.3ポイント上回った。
• 本手法はCar、CUB、FGVCの3つのデータセットすべてで一貫した性能向上を示し、異なるデータスケールやドメインシフトに対しても頑健であることが確認された。
• 頑健性分析から、カテゴリあたり約800枚のウェブ画像を超えると性能が飽和することが判明し、ノイズ比やバックボーン選択の変動に対しても安定した性能を示した。
• アブレーションスタディにより、類似度に基づくノイズ除去（サンプル重み付けとグラフ正則化）とウェブリー監視学習を統合することで、個々のコンponentsよりも優れた結果が得られることを確認した。