[論文レビュー] Rediscovering BCE Loss for Uniform Classification

Qiufu Li, Xi Jia+3 more|arXiv (Cornell University)|Mar 12, 2024

Currency Recognition and Detection被引用数 12

ひとこと要約

この論文は統一閾値を用いたuniform分類を導入し、学習可能なバイアスを持つBCEベースの損失を導出することで統一閾値を生み出し、BCE損失がSoftMaxよりも複数のデータセットと特徴抽出器に対して統一性とサンプルごとの精度を改善することを示す。

ABSTRACT

This paper introduces the concept of uniform classification, which employs a unified threshold to classify all samples rather than adaptive threshold classifying each individual sample. We also propose the uniform classification accuracy as a metric to measure the model's performance in uniform classification. Furthermore, begin with a naive loss, we mathematically derive a loss function suitable for the uniform classification, which is the BCE function integrated with a unified bias. We demonstrate the unified threshold could be learned via the bias. The extensive experiments on six classification datasets and three feature extraction models show that, compared to the SoftMax loss, the models trained with the BCE loss not only exhibit higher uniform classification accuracy but also higher sample-wise classification accuracy. In addition, the learned bias from BCE loss is very close to the unified threshold used in the uniform classification. The features extracted by the models trained with BCE loss not only possess uniformity but also demonstrate better intra-class compactness and inter-class distinctiveness, yielding superior performance on open-set tasks such as face recognition.

研究の動機と目的

• 統一分類とクラス別統一分類の概念を導入する。
• 統一性の新しい指標を定義・比較する。統一分類精度を含む。
• 学習可能なバイアスを持つBCEベースの損失を導出し、統一閾値を強制する。
• データセットとモデルを横断して、SoftMaxに対するBCE損失の利点を示す。

提案手法

• 統一分類とその指標（統一精度、クラス別統一精度、サンプル単位の精度）を定義する。
• SoftMaxとBCE損失を再導出し、それらのバイアスを特徴の統一性に結びつける。
• 学習可能なバイアスを備え、統一閾値へ収束する2つのBCEベースの統一損失（L_bce-uとL_bce-d）を設計する。
• 特定の条件下でバイアスが統一閾値へ収束することを示す理論的収束結果を示す。
• 線形および正規化済み分類器を使用して、6つのデータセットと3つの特徴抽出器に跨る実証的検証を行う。

Figure 1: The visual comparison of performance of ResNet50 trained by $L_{\text{soft-nu}}$ and $L_{\text{bce-nu}}$ with various $\gamma$ on ImageNet-1K. Although $L_{\text{bce-nu}}$ performs poorly when $\gamma$ is too small or too large, for $\gamma$ varying in $[32,192]$ , its uniform accuracy is

実験結果

リサーチクエスチョン

• RQ1 すべてのサンプルにわたる単一の統一閾値は、オープンセットおよび統一分類タスクを改善することができるか。
• RQ2 学習可能なバイアスを持つBCEベースの損失は、SoftMax損失よりもより統一的な特徴と高い統一分類精度を生み出すか。
• RQ3 異なるBCEベースの統一損失は、収束とオープンセットおよび顔認識タスクの性能の点でどう比較されるか。
• RQ4 学習されたバイアスは、統一分類で使用される統一閾値とどの程度一致するか。
• RQ5 BCEベースの学習における特徴の統一性、クラス内の凝縮性、クラス間の識別性の関係はどうなるか。

主な発見

• 統一バイアスを持つBCE損失は、統一分類のための統一閾値を学習できる。
• BCE損失で学習したモデルは、複数のデータセットでSoftMax損失より高い統一分類精度を達成する。
• 学習されたバイアスは、統一分類で使用される統一閾値に密接に近い。
• BCEで訓練したモデルの特徴は、統一性、クラス内凝縮性、クラス間識別性が改善され、顔認識のようなオープンセットタスクに有利になる。
• 2つのBCEベースの統一損失（L_bce-uとL_bce-d）が提案され、特定の条件下で閾値へ収束することが示される。

Figure 2: The distributions of positive and negative classification metrics of ResNet50 trained by $L_{\text{soft-nu}}$ (left) and $L_{\text{bce-nu}}$ (right) on ImageNet-1K. The smaller overlap between the positive and negative metrics of $L_{\text{bce-u}}$ and $L_{\text{bce-nu}}$ indicates that th