[論文レビュー] On the Importance of Firth Bias Reduction in Few-Shot Classification

Saba Ghaffari, Ehsan Saleh+2 more|arXiv (Cornell University)|Oct 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 86被引用数 4

ひとこと要約

本稿では、少数ショット画像分類におけるシンプルでありながらも非常に効果的な正則化手法として、Firthバイアス低減を提案する。これは、一様なクラス分布とモデル予測との間のKLダイバージェンスペナルティに再定式化されている。本手法は、多様なバックボーン、データ設定、分類器タイプにおいて一貫して0.5–3%の精度向上を示しており、L2正則化、ラベルスムージング、データ増強を上回っている。特に、ショット数が少ない場合やクラス不均衡な状況下で顕著な効果を示す。

ABSTRACT

Learning accurate classifiers for novel categories from very few examples, known as few-shot image classification, is a challenging task in statistical machine learning and computer vision. The performance in few-shot classification suffers from the bias in the estimation of classifier parameters; however, an effective underlying bias reduction technique that could alleviate this issue in training few-shot classifiers has been overlooked. In this work, we demonstrate the effectiveness of Firth bias reduction in few-shot classification. Theoretically, Firth bias reduction removes the $O(N^{-1})$ first order term from the small-sample bias of the Maximum Likelihood Estimator. Here we show that the general Firth bias reduction technique simplifies to encouraging uniform class assignment probabilities for multinomial logistic classification, and almost has the same effect in cosine classifiers. We derive an easy-to-implement optimization objective for Firth penalized multinomial logistic and cosine classifiers, which is equivalent to penalizing the cross-entropy loss with a KL-divergence between the uniform label distribution and the predictions. Then, we empirically evaluate that it is consistently effective across the board for few-shot image classification, regardless of (1) the feature representations from different backbones, (2) the number of samples per class, and (3) the number of classes. Finally, we show the robustness of Firth bias reduction, in the case of imbalanced data distribution. Our implementation is available at https://github.com/ehsansaleh/firth_bias_reduction

研究の動機と目的

• 非常に少ないサンプルで訓練された少数ショット分類器におけるパrameter推定バイアスという、軽視されがちな問題に取り組む。
• 統計学で小標本バイアスを低減することが知られているFirthバイアス低減が、少数ショット学習性能を向上させることを調査する。
• Firthペナルティが特徴抽出バックボーン、クラス不均衡、クラス数、分類器アーキテクチャにかかわらず有効であることを示す。
• Firthバイアス低減が、L2正則化やラベルスムージングといった標準的な正則化手法では再現できないことを示す。
• Firthペナルティを、少数ショット学習における小標本分類器学習を改善するための堅牢で汎用的なソリューションとして確立する。

提案手法

• Firthペナルティ付き最尤推定（PMLE）を、一様なラベル分布とモデル予測との間のKLダイバージェンスペナルティに再定式化することで、標準的な訓練パイプラインへの容易な統合を可能にする。
• 交差エントロピー損失に、行列の対数行列式ペナルティ（log det(F)）を追加する簡略化された最適化目的関数を導出。これは、一様事前分布と出力確率との間のKLダイバージェンス最小化と等価である。
• 多項ロジスティック分類器およびコサイン分類器の両方に対してFirthペナルティを適用し、両者において幾何学的・統計的に同等の性質を示す。
• 任意のバックボーンと分類器ヘッドと併用可能な、微分可能でレイヤーに依存しない損失項として本手法を実装する。
• tiered-ImageNet、CIFAR-FSなど複数のデータセット、ResNet、DenseNet、MobileNetなどのバックボーン、1–5ショット、5–16ウェイの少額ショット設定を対象に、実証的評価を実施。
• 強力なベースラインと比較：L2正則化、信頼度ペナルティ、ユニグラムラベルスムージング、人工サンプルを用いたデータ増強。

実験結果

リサーチクエスチョン

• RQ1 Firthバイアス低減は、多様なバックボーンネットワークやデータ分布において、一貫して少数ショット画像分類の精度を向上させることができるか？
• RQ2 Firthペナルティは、小標本状況下でL2正則化やラベルスムージングといった標準的な正則化手法を上回るか？
• RQ3 クラス不均衡や人工データ増強を用いた場合、Firthバイアス低減はどの程度有効か？
• RQ4 Firthペナルティは、メタラーニングで用いられるコサイン分類器のような標準的なロジスティックモデルを超えて一般化可能か？
• RQ5 Firthペナルティによる向上効果は、複数の少数ショットベンチマークおよびハイパーパramータ設定において、統計的に有意かつ堅牢か？

主な発見

• Firthバイアス低減は、ResNet、DenseNet、MobileNetを含むすべての評価済みバックボーンにおいて、一貫して0.5%～3%の精度向上を達成している。
• バランス型および不均衡型のデータ分布、1–16ショットおよび5–16ウェイ分類タスクのすべてのテスト設定で、統計的に有意な向上が確認された。
• Firthペナルティは、L2正則化よりも顕著に優れた性能を示しており、同じ少数ショット設定下でL2正則化はほとんど有意な改善を示さなかった。
• Firthバイアス低減は、信頼度ペナルティやユニグラムスムージングといった高度なラベルスムージング変種よりも優れており、それらはFirthのバイアス低減効果を再現できなかった。
• 人工データ増強（1クラスあたり750個の合成サンプル）を適用しても、Firthペナルティは依然として顕著な向上を示しており、これはデータ不足を超えた根本的な推定バイアスの低減に寄与していることを示唆している。
• ドメインシフトが生じるクロスドメインの少数ショット設定においても、Firthペナルティはデータ増強が失敗する状況でも有効であり、分布シフトに対して高い耐性を示している。