[論文レビュー] sigmoidF1: A Smooth F1 Score Surrogate Loss for Multilabel Classification

G. F. Benedict, Vincent Koops+2 more|arXiv (Cornell University)|Aug 24, 2021

Machine Learning and Data Classification被引用数 13

ひとこと要約

この論文は、F1スコア計算におけるステップ関数をシグモイドで近似することで、マクロF1スコアを直接最適化する滑らかで微分可能な代替損失関数であるsigmoidF1を導入する。4つの多様なデータセット（1つはテキスト、3つは画像）において、複数の指標で標準的な損失関数（例：交差エントロピー）を上回り、訓練時に指標に配慮した損失関数を用いることで、多ラベル分類設定における性能向上が実証された。

ABSTRACT

Multiclass multilabel classification is the task of attributing multiple labels to examples via predictions. Current models formulate a reduction of the multilabel setting into either multiple binary classifications or multiclass classification, allowing for the use of existing loss functions (sigmoid, cross-entropy, logistic, etc.). Multilabel classification reductions do not accommodate for the prediction of varying numbers of labels per example and the underlying losses are distant estimates of the performance metrics. We propose a loss function, sigmoidF1, which is an approximation of the F1 score that (1) is smooth and tractable for stochastic gradient descent, (2) naturally approximates a multilabel metric, and (3) estimates label propensities and label counts. We show that any confusion matrix metric can be formulated with a smooth surrogate. We evaluate the proposed loss function on text and image datasets, and with a variety of metrics, to account for the complexity of multilabel classification evaluation. sigmoidF1 outperforms other loss functions on one text and two image datasets and several metrics. These results show the effectiveness of using inference-time metrics as loss functions for non-trivial classification problems like multilabel classification.

研究の動機と目的

• 多ラベル分類における標準的な損失関数（例：交差エントロピー）と評価指標（例：F1）の不一致を是正する。
• F1のような微分不能な指標を最適化する際の非可解性を克服し、シグモイド近似を用いた滑らかな代替関数を導入する。
• 1つの統合された損失関数内でラベル予測とラベル数推定の両方を同時に最適化可能にする。
• 推論時の指標を訓練目的に用いることで、多様なモダリティおよびアーキテクチャにわたって優れた一般化性能が得られることを示す。

提案手法

• F1計算におけるハードスイッチングステップを置き換えるために、シグモイド関数を用いたマクロF1スコアの滑らかで微分可能な近似を提案する。
• ロジットの連続関数として代替F1スコアを定義し、確率的勾配降下法によるバックプロパゲーションを可能にする。
• 損失関数を $\mathcal{L}_{\widetilde{\mathit{F1}}} = 1 - \widetilde{\mathit{F1}}$ として定式化し、滑らかにしたF1スコアの逆数を最小化する。
• 分類ヘッドとシグモイド活性化関数を備えた標準的なディープラーニングパイプラインに損失関数を統合し、エンドツーエンドの訓練を可能にする。
• すべてのクラスにわたる指標のグローバル最適化を保証するために、バッチ単位のマクロF1計算を用いる。
• ハイパーパramータの感度を低減しつつも高い性能を維持するため、上限なしのバージョンであるunboundedF1を導入する。

実験結果

リサーチクエスチョン

• RQ1 マクロF1スコアの滑らかで微分可能な代替関数を構築でき、多ラベル分類の訓練中に直接最適化可能であるか？
• RQ2 sigmoidF1で最適化することで、従来の損失関数（例：交差エントロピー）と比較して、標準的な多ラベル指標で性能が向上するか？
• RQ3 sigmoidF1は、異なるデータモダリティ（テキスト、画像）、モデルアーキテクチャ、およびデータセットサイズに対してどれほど頑健か？
• RQ4 提案された損失関数は、多ラベル設定において、ラベル予測の正確性とラベル数推定の両方を同時に改善できるか？
• RQ5 多ラベル学習において、指標ベースの損失関数（例：F1）を訓練目的に用いるのと、標準的な交差エントロピーを用いるのとで、性能にどのような影響があるか？

主な発見

• sigmoidF1は、1つのテキストデータセットと3つの画像データセットにおいて、重み付きF1指標で標準的な交差エントロピーおよび他のベースライン損失を上回った。
• 本手法は、多様なデータセットおよびモデルアーキテクチャにわたって、精度、再現率、F1など複数の指標で一貫した改善を達成した。
• MS-COCO画像データセットでは、sigmoidF1がマクロF1 15.20を達成し、ベンチマークで他の損失関数を上回った。
• ハイパーパramータのチューニングを排除したunboundedF1バージョンは、ほとんどの指標で標準的な多クラス損失を上回る結果を示した。
• CNNやBERTベースのモデルを含むさまざまなモデルタイプにおいても、性能向上が観察されたことから、アーキテクチャおよびモダリティにかかわらず頑健であることが示された。
• 本研究は、sigmoidF1のような指標に配慮した損失関数で訓練することで、訓練目的と評価指標の整合性が高まることを実証的根拠で示した。