[論文レビュー] Balanced Meta-Softmax for Long-Tailed Visual Recognition

Jiawei Ren, Cunjun Yu+5 more|arXiv (Cornell University)|Jul 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 317

ひとこと要約

BALMSは長尾の視覚認識におけるラベル分布のシフトに対処するBalanced SoftmaxとMeta Samplerを導入し、LVISを含む複数のデータセットで最先端の成果を達成します。

ABSTRACT

Deep classifiers have achieved great success in visual recognition. However, real-world data is long-tailed by nature, leading to the mismatch between training and testing distributions. In this paper, we show that the Softmax function, though used in most classification tasks, gives a biased gradient estimation under the long-tailed setup. This paper presents Balanced Softmax, an elegant unbiased extension of Softmax, to accommodate the label distribution shift between training and testing. Theoretically, we derive the generalization bound for multiclass Softmax regression and show our loss minimizes the bound. In addition, we introduce Balanced Meta-Softmax, applying a complementary Meta Sampler to estimate the optimal class sample rate and further improve long-tailed learning. In our experiments, we demonstrate that Balanced Meta-Softmax outperforms state-of-the-art long-tailed classification solutions on both visual recognition and instance segmentation tasks.

研究の動機と目的

• 標準的なSoftmaxが長尾データ下でバイアスを持つ理由と、それが一般化にどのように悪影響を及ぼすかを動機づけ分析する。
• 訓練時とテスト時のラベル分布シフトを考慮した unbiased 拡張としてBalanced Softmaxを開発する。
• 高度に不均衡なデータで最適化の問題を緩和するための効果的なリサンプリングを学習するMeta Samplerを導入する。
• 複数の長尾データセットにおける画像分類とインスタンス分割タスクで経験的な改善を示す。

提案手法

• Balanced Softmaxを、テスト時のバランス分布と不均衡な訓練分布をモデリングし、それに対応するクロスエントロピー損失を定式化することで導出する。
• Balanced Softmaxのクロスエントロピーを最適化することで、多クラスSoftmax回帰の一般化誤差境界を最小化することを示す。
• クラス頻度 n_j を組み込む形で る Balanced Softmax を提案する。
• Meta Samplerを導入し、メタセットの監督付き内部ループ最適化を伴うビリーフレベルのメタ学習目的を介してクラスごとのサンプリング率を学習する。
• 訓練中に微分可能なサンプリングを可能にするGumbel-Softmax再パラメータ化を利用する。
• CBS（クラスバランス付きサンプリング）と補完的にMeta Samplerを用いて過度なバランス取りを回避し、最適化を改善する。

実験結果

リサーチクエスチョン

• RQ1 Balanced Softmaxは、不均衡なラベル分布によって生じる標準Softmaxのバイアスを正しく修正できるか。
• RQ2 Balanced Softmaxクロスエントロピーの最適化は、バランスの取れたテストセット上の一般化誤差を境界づけるか。
• RQ3 学習可能なリサンプリング戦略（Meta Sampler）は、極端に不均衡なデータセットで性能をさらに向上させるか。
• RQ4 BALMSの各要素は、長尾の画像分類とインスタンス分割の両方のデータセットで最先端の結果をもたらすか。

主な発見

• Balanced Softmaxは、標準Softmaxと比較および他の損失関数よりも、不均衡因子を越えてより安定したバランスの取れた周辺尤度 p(y) を提供する。
• BALMSはCIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、Places-LT、LVISで最先端のエンドツーエンドおよびデカップリング学習法を上回る。
• Meta Samplerは高度に不均衡な設定でCBSの過度なバランス取りを緩和し、特に大きな不均衡因子で追加の利得を生む。
• LVISでは、Balanced Softmax系乱と他の損失関数を含む複数のベースラインと比較して最良の平均適合度(AP)を達成する。
• Balanced SoftmaxとMeta Samplerおよびデカップル学習を組み合わせると、いくつかのベンチマークで最も強力な結果を得る。