[論文レビュー] A surrogate loss function for optimization of $F_β$ score in binary classification with imbalanced data

Namgil Lee, Heejung Yang+1 more|arXiv (Cornell University)|Apr 3, 2021

Imbalanced Data Classification Techniques参考文献 21被引用数 4

ひとこと要約

本稿では、不均衡なバイナリ分類における $F_\beta$ スコアの最適化のための微分可能サロゲート損失関数を提案する。この手法により、深層ニューラルネットワークの勾配ベース学習を $F_\beta$ スコアの向上に直接向けられるようになる。本手法は、$F_\beta$ スコアの勾配経路を新たな損失定式化により近似し、ベンチマークデータセットにおけるResNetモデルにおいて、標準的な損失関数（BCE やマクロソフト $F_\beta$）と比較して優れた $F_\beta$ スコアを達成している。

ABSTRACT

The $F_β$ score is a commonly used measure of classification performance, which plays crucial roles in classification tasks with imbalanced data sets. However, the $F_β$ score cannot be used as a loss function by gradient-based learning algorithms for optimizing neural network parameters due to its non-differentiability. On the other hand, commonly used loss functions such as the binary cross-entropy (BCE) loss are not directly related to performance measures such as the $F_β$ score, so that neural networks optimized by using the loss functions may not yield optimal performance measures. In this study, we investigate a relationship between classification performance measures and loss functions in terms of the gradients with respect to the model parameters. Then, we propose a differentiable surrogate loss function for the optimization of the $F_β$ score. We show that the gradient paths of the proposed surrogate $F_β$ loss function approximate the gradient paths of the large sample limit of the $F_β$ score. Through numerical experiments using ResNets and benchmark image data sets, it is demonstrated that the proposed surrogate $F_β$ loss function is effective for optimizing $F_β$ scores under class imbalances in binary classification tasks compared with other loss functions.

研究の動機と目的

• 不均衡データ設定における標準的な微分可能損失関数（例：BCE）と性能指標（例：$F_\beta$）との間の不一致を解消すること。
• 性能指標（例：$F_\beta$）の勾配条件を調査し、標準的な損失関数と比較すること。
• 最適化中に $F\_\beta$ スコアの勾配ダイナミクスを密接に近似するサロゲート損失関数を設計すること。
• クラス不均衡下での深層学習モデル（例：ResNet）において、提案されたサロゲート $F_\beta$ 損失が $F_\beta$ スコアをどのように向上させるかを実証すること。
• 調整可能なパラメータ $q$ を備えた一般化形を用いて、ラベルノイズに対するロバスト性を向上させるようにサロゲート損失を拡張すること。

提案手法

• $F_\beta$ スコアの勾配条件を導出し、BCE などの標準的損失関数の勾配と比較する。
• $F_\beta$ スコアの勾配方向を、重要な点で一致させるサロゲート $F_\beta$ 損失関数を提案する。
• モデル出力と真のラベルの関数として微分可能に定式化し、確率的勾配降下法との互換性を確保する。
• ラベルノイズへのロバスト性を制御できるパラメータ $q$ を備えた、一般化されたサロゲート損失のバージョンを導入し、MAE と BCE の間を補間する。
• 散布図を用いて、学習データ上でサロゲート損失と実際の $F_\beta$ スコアを比較することで、勾配近似の妥当性を検証する。
• 提案された損失関数を用いて ResNet-34 モデルを学習し、不均衡画像ベンチマークにおいて BCE、フォーカル損失、マクロソフト $F_\beta$ と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 最適化中に $F_\beta$ スコアの勾配経路を密接に近似できる微分可能サロゲート損失を構築できるか？
• RQ2 提案されたサロゲート $F_\beta$ 損失は、BCE やマクロソフト $F_\beta$ といった標準的損失関数と比較して、不均衡データにおける $F_\beta$ スコア最適化にどのように優れているか？
• RQ3 実際の $F_\beta$ スコアが微分不能かつ不連続であっても、サロゲート損失は効果的な最適化を維持できるか？
• RQ4 サロゲート損失は、マルチクラス設定におけるラベルノイズへの耐性を向上させるために一般化可能か？
• RQ5 $F_\beta$ スコアは、不均衡な設定では誤解を招く可能性のある正答率と比較して、どの程度向上するか？

主な発見

• 提案されたサロゲート $F_\beta$ 損失は、比較対象のすべての損失関数の中でバリデーションセットにおける $F_1$ スコアが最高を記録し、$F_\beta$ 指標最適化の有効性を示している。
• 散布図により、すべての $\beta$ 値において、サロゲート $F_\beta$ 損失と実際の $F_\beta$ スコアの間に強い線形相関が確認され、勾配経路の近似が有効であることが裏付けられた。
• 実際の $F_\beta$ スコアが高精度を達成する一方で、マクロソフト $F_\beta$ 損失は $F_\beta$ スコア最適化において、提案損失に劣っている。
• 大標本極限において、サロゲート $F_\beta$ 損失の勾配経路は、$F_\beta$ スコアの勾配経路を密接に近似しており、理論的基盤の妥当性が検証された。
• $q \to 0$ のとき、一般化されたサロゲート $F_{\beta,q}$ 損失は元のサロゲート $F_\beta$ 損失に収束し、$q=1$ のときには MAE 損失に簡略化される。これにより、ノイズ耐性における柔軟性が示された。
• ResNet-34 モデルを用いた数値実験により、不均衡画像データセットにおいて、BCE や他のサロゲート損失と比較して、提案されたサロゲート $F_\beta$ 損失がより優れた $F_\beta$ 性能を達成することが確認された。