[論文レビュー] Asymmetric Loss For Multi-Label Classification

Emanuel Ben-Baruch, Tal Ridnik+5 more|arXiv (Cornell University)|Sep 29, 2020

Advanced Neural Network Applications参考文献 40被引用数 64

ひとこと要約

本論文は、深刻な負陽性の不均衡とラベル付け誤りに対処するためのマルチラベル分類用 Asymmetric Loss (ASL) を提案し、非対称なフォーカシングと非対称な確率シフトを組み合わせて、アーキテクチャを変更せずに主要データセットで最先端の mAP を達成する。さらに、トレーニング中に非対称性を動的に調整する適応スキームを提供する。

ABSTRACT

In a typical multi-label setting, a picture contains on average few positive labels, and many negative ones. This positive-negative imbalance dominates the optimization process, and can lead to under-emphasizing gradients from positive labels during training, resulting in poor accuracy. In this paper, we introduce a novel asymmetric loss ("ASL"), which operates differently on positive and negative samples. The loss enables to dynamically down-weights and hard-thresholds easy negative samples, while also discarding possibly mislabeled samples. We demonstrate how ASL can balance the probabilities of different samples, and how this balancing is translated to better mAP scores. With ASL, we reach state-of-the-art results on multiple popular multi-label datasets: MS-COCO, Pascal-VOC, NUS-WIDE and Open Images. We also demonstrate ASL applicability for other tasks, such as single-label classification and object detection. ASL is effective, easy to implement, and does not increase the training time or complexity. Implementation is available at: https://github.com/Alibaba-MIIL/ASL.

研究の動機と目的

• マルチラベル画像分類における深刻な負陽性ラベルの不均衡という課題に対処する。
• 容易な否定例を低重み付けし、非常に簡単な否定例を排除しつつ、陽性の勾配信号を保持する損失関数を開発する。
• トレーニング中に非対称性を動的に調整する適応メカニズムを設計し、ハイパーパラメータ調整を容易にする。
• ASL がアーキテクチャ変更なしで主要なマルチラベルベンチマークで最先端の結果を達成することを示す。
• ASL のマルチラベル分類以外の関連タスクへの適用性を示す。

提案手法

• ラベルごとに z_k の logits と p = sigmoid(z) を用いるバイナリクロスエントロピー/フォーカルロスの枠組みを定義する。
• 陽性と否定のフォーカシングパラメータ (gamma_plus および gamma_minus) を分離して非対称フォーカシングを導入する。
• 否定確率を p_m = max(p - m, 0) にシフトさせる非対称な確率シフトを導入し、容易な否定例のハードしきい値を可能にする。
• ASL を L_plus = (1 - p)^{gamma_plus} log(p) および L_minus = (p_m)^{gamma_minus} log(1 - p_m) として定式化する。
• 陽性損失を標準の CE のままにして gamma_minus を調整して非対称性を導くために、gamma_plus を 0 に設定することもできる。
• 誤 labelled の否定を拒否し、サンプル寄与をバランスさせる利点を示す勾配と確率の分析を提供する。
• Delta p_target を介して望ましい確率ギャップ Delta p を目標に gamma_minus を更新する適応的非対称性スキームを提案する：gamma_minus <- gamma_minus + lambda(Delta p - Delta p_target)。
• 両方の非対称性を組み合わせると、単一の非対称性や静的重み付けよりも最良の性能を得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 非対称ロスが負陽性の不均衡に対処することで、ネットワークアーキテクチャを変更せずにマルチラベル分類の性能を改善できるか。
• RQ2 非対称フォーカシングと確率シフトは、勾配フローの改善と誤ラベルの否定例への堅牢性にどう寄与するか。
• RQ3 ASL はトレーニング中に非対称性を動的に適応させ、ハイパーパラメータ調整を簡略化しつつ性能を維持または向上できるか。
• RQ4 ASL は複数の主要なマルチラベルデータセットとバックボーンで有効であり、単一ラベル分類や物体検出などの関連タスクにも拡張可能か。

主な発見

手法	mAP	CF1	OF1
CADM	82.3	77.0	79.6
ML-GCN	83.0	78.0	80.3
KSSNet	83.7	77.2	81.5
MS-CMA	83.8	78.4	81.0
MCAR	83.8	78.0	80.3
ASL (ResNet101)	85.0	80.3	82.3
ASL (TResNet-L)	86.6	81.4	81.8

• ASL は MS-COCO、Pascal-VOC、NUS-WIDE、Open Images でクロスエントロピーおよびフォーカルロスを上回り、最先端の結果を達成する。
• MS-COCO では、ASL with ResNet101 は 85.0 mAP（CE 84.0、focal 85.1 に対して）に達し、ASL with TResNet-L は 86.6 mAP（トップ-1）を達成する。
• 非対称フォーカシングと確率シフトを組み合わせると、単独のいずれかの機構よりも MS-COCO で最高の 86.6 mAP を得られる。
• Delta p_target 設定で適応的非対称性の実験は高い mAP（最大で 86.4）を示すが、固定 ASL 変種が特定のケースでわずかに高いスコアを達成することもある。
• ASL は複数のバックボーン（OFA-595、ResNet101、TResNet-L）で性能を向上させ、事前学習の改善と入力解像度の向上（例：448 から 640）によって恩恵を受ける。
• ASL は単一ラベル分類や物体検出など関連タスクにも利益を示し、より広い適用性を示す。