[論文レビュー] Distribution-Balanced Loss for Multi-Label Classification in Long-Tailed Datasets

Tong Wu, Qingqiu Huang+3 more|arXiv (Cornell University)|Jul 19, 2020

Machine Learning and Data Classification参考文献 43被引用数 36

ひとこと要約

Distribution-Balanced Lossを長尾データの多ラベル認識に導入し、ラベル共起を考慮した再バランス重み付けとネガティブ耐性正則化を組み合わせてネガティブの過抑制を抑える。

ABSTRACT

We present a new loss function called Distribution-Balanced Loss for the multi-label recognition problems that exhibit long-tailed class distributions. Compared to conventional single-label classification problem, multi-label recognition problems are often more challenging due to two significant issues, namely the co-occurrence of labels and the dominance of negative labels (when treated as multiple binary classification problems). The Distribution-Balanced Loss tackles these issues through two key modifications to the standard binary cross-entropy loss: 1) a new way to re-balance the weights that takes into account the impact caused by label co-occurrence, and 2) a negative tolerant regularization to mitigate the over-suppression of negative labels. Experiments on both Pascal VOC and COCO show that the models trained with this new loss function achieve significant performance gains over existing methods. Code and models are available at: https://github.com/wutong16/DistributionBalancedLoss .

研究の動機と目的

• 実世界データに典型的な長尾分布下でのロバストな多ラベル学習を動機づける。
• BCEベースの学習におけるラベル共起とネガティブラベルの優位性を考慮する。
• 再バランス重み付けとネガティブ耐性正則化を組み合わせた損失を提案する。
• 標準的な長尾多ラベルベンチマーク（VOC-MLTおよび COCO-MLT）での性能向上を示す。

提案手法

• ラベル共起を考慮してサンプリング確率を調整する再バランス重み付けを導入する（Eq. 3–5）。
• クラス認識とインスタンスレベルのサンプリング確率を算出し、クラス内不均衡を緩和する1件あたりのクラス別重みを導出する（Eq. 2–3）。
• クラス固有のバイアスとスケーリングを適用してネガティブ抑制の過度を防ぐネガティブ耐性正則化（NTR）を開発する（Eq. 7）。
• 再バランス重み付けとNTRを統合した統一のDistribution-Balanced損失（DB loss）をエンドツーエンドの訓練に組み込む（Eq. 10）。
• 再バランジングとNTR項の平滑化のハイパーパラメータに関するガイダンスを提供し、VOC-MLTおよびCOCO-MLTを横断した実証的研究を行う。

実験結果

リサーチクエスチョン

• RQ1 長尾設定においてラベル共起を考慮しつつ損失を再バランスするにはどうすればよいか。
• RQ2 BCEベースの多ラベル学習における尾部クラスの学習ダイナミクスに対するネガティブ耐性正則化の効果はどうなるか。
• RQ3 標準ベンチマークで再バランス重み付けとネガティブ耐性正則化を組み合わせるとどの程度の性能向上が得られるか。
• RQ4 頭部・中間クラスの性能を維持または向上させつつ尾部クラスの性能を向上させることができるか。

主な発見

• DB lossはVOC-MLTおよびCOCO-MLTの総計・尾部サブクラスで一貫してベースラインを上回る。
• 再バランス重み付け単独でも全体のmAPを改善し、サンプリングと組み合わせると尾部クラスの改善が特に顕著となる。
• ネガティブ耐性正則化は尾部クラスの改善に顕著な効果を示し、ネガティブの過度抑制を緩和する。
• DB-Focalはさらなる性能向上を実現し、比較手法の中で最良の総合結果を達成する。
• 尾部クラスはNTRから最大の利益を享受し、頭部クラスはハイパーパラメータ調整により競争力を維持する。