[論文レビュー] Exploring Category-correlated Feature for Few-shot Image Classification

Jing Xu, Xinglin Pan+3 more|arXiv (Cornell University)|Dec 14, 2021

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、ベースクラスとのカテゴリ相関を活用して少数ショット画像分類におけるバイアスのかかっている特徴を是正する汎用的でバックボーンに依存しないカテゴリ相関特徴是正器（CCF）を提案する。潜在ベクトルにベースクラスとの特徴類似度を符号化し、温度調整付きデコーダーを用いることで、クラス重心に近いより代表的な特徴を生成する。この方法により、さまざまなバックボーンと分類器を用いたベンチマークで一貫した精度向上が達成される。

ABSTRACT

Few-shot classification aims to adapt classifiers to novel classes with a few training samples. However, the insufficiency of training data may cause a biased estimation of feature distribution in a certain class. To alleviate this problem, we present a simple yet effective feature rectification method by exploring the category correlation between novel and base classes as the prior knowledge. We explicitly capture such correlation by mapping features into a latent vector with dimension matching the number of base classes, treating it as the logarithm probability of the feature over base classes. Based on this latent vector, the rectified feature is directly constructed by a decoder, which we expect maintaining category-related information while removing other stochastic factors, and consequently being closer to its class centroid. Furthermore, by changing the temperature value in softmax, we can re-balance the feature rectification and reconstruction for better performance. Our method is generic, flexible and agnostic to any feature extractor and classifier, readily to be embedded into existing FSL approaches. Experiments verify that our method is capable of rectifying biased features, especially when the feature is far from the class centroid. The proposed approach consistently obtains considerable performance gains on three widely used benchmarks, evaluated with different backbones and classifiers. The code will be made public.

研究の動機と目的

• 少数ショット学習における十分な訓練サンプルの不足によって生じる特徴分布のバイアスを是正すること。
• 新規クラスの特徴是正に用いるための、未利用に終わっているベースクラスからの知識を事前情報として活用すること。
• 既存モデルを変更せずに特徴の代表性を向上させる、汎用的で分類器に依存しない手法を開発すること。
• 特に元の特徴が外れ値である場合に、クラス重心に近い特徴を生成することで意思決定境界の推定を改善すること。

提案手法

• CCFは、新規画像特徴をベースクラス数に一致する潜在ベクトルにマップするエンコーダを備えたオートエンコーダである。
• 潜在ベクトルは、ベースクラス上での対数確率として解釈され、カテゴリ相関情報を符号化する。
• 温度調整付きソフトマックスを介して潜在ベクトルにベースクラス分類損失を適用し、意味的整合性を促進する。
• デコーダーは潜在ベクトルから是正された特徴を再構築し、カテゴリ関連情報は保持しつつノイズや外れ値を抑制することを目的とする。
• 温度ハイパーパrameterは、特徴是正と再構築のバランスを調整する。最適値は1ショットタスクでT=0.1、5ショットタスクでT=0.02である。
• 本手法はプラグアンドプレイであり、任意の特徴抽出器および分類器と互換性があり、既存の少数ショット学習フレームワークに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 新規クラスとベースクラスの間のカテゴリ相関が、少数ショット学習における特徴バイアス低減に有効な事前知識として機能するか？
• RQ2 潜在空間でカテゴリ相関を明示的にモデル化し、より代表的な特徴を生成するためにどのように利用できるか？
• RQ3 潜在空間における特徴是正と再構築忠実度の最適なトレードオフは何か？
• RQ4 提案手法は、さまざまなバックボーン、分類器、および少数ショット学習アルゴリズムに一般化可能か？
• RQ5 ソフトマックスにおける温度ハイパーパrameterは、是正と再構築のバランスにどのように影響するか？

主な発見

• CCF手法は、ミニ-ImageNet、CUB、Stanford Carsという3つのベンチマークで一貫した性能向上を達成し、さまざまなバックボーンと分類器で2%から9%の向上を示した。
• ミニ-ImageNetの1ショットおよび5ショット設定では、それぞれ68.88%および84.59%の精度を達成し、1ショットではベースラインを3%以上上回った。
• アブレーションスタディにより、元の特徴と是正された特徴を組み合わせた場合が最良の性能を示し、その主な貢献はCCFコンponentに起因することが確認された。
• 本手法は良好な一般化性能を示す：ResNet-12、ワイドResNet、DenseNetといった異なるバックボーン、およびソフトマックス、コサイン、ロジスティック回帰といった異なる分類器においても性能向上を達成した。
• ハイパーパramータ分析により、1ショットではT=0.1が最適であり、5ショットではT=0.02が最適であることが判明し、データが少ない場合に強い是正が必要であることを示唆した。
• 可視化により、是正された特徴が外れ値をその正解クラス重心に近づけていることが確認され、本手法がバイアスのかかっている特徴分布を是正できることを裏付けた。