[論文レビュー] Simple and Robust Loss Design for Multi-Label Learning with Missing Labels

Youcai Zhang, Yuhao Cheng+5 more|arXiv (Cornell University)|Dec 13, 2021

Text and Document Classification Technologies被引用数 15

ひとこと要約

本稿では、複雑なアーキテクチャや訓練手法を用いずに欠落ラベルがある状況下でのマルチラベル学習を改善する、シンプルで効果的な損失関数2つ——Hill損失と自己-paced損失補正（SPLC）——を提案する。モデルが予測する確率を活用して早期に誤ったネガティブ例（false negatives）を特定し、Hill損失では問題のあるネガティブ例の重みを低減し、SPLCでは反復的に欠落ラベルを補正することで、複数のベンチマークで新たな最先端性能を達成した。

ABSTRACT

Multi-label learning in the presence of missing labels (MLML) is a challenging problem. Existing methods mainly focus on the design of network structures or training schemes, which increase the complexity of implementation. This work seeks to fulfill the potential of loss function in MLML without increasing the procedure and complexity. Toward this end, we propose two simple yet effective methods via robust loss design based on an observation that a model can identify missing labels during training with a high precision. The first is a novel robust loss for negatives, namely the Hill loss, which re-weights negatives in the shape of a hill to alleviate the effect of false negatives. The second is a self-paced loss correction (SPLC) method, which uses a loss derived from the maximum likelihood criterion under an approximate distribution of missing labels. Comprehensive experiments on a vast range of multi-label image classification datasets demonstrate that our methods can remarkably boost the performance of MLML and achieve new state-of-the-art loss functions in MLML.

研究の動機と目的

• 不完全なアノテーションによる誤ったネガティブ例がモデル性能を低下させるマルチラベル学習における欠落ラベル（MLML）の課題に対処すること。
• 複雑なネットワークアーキテクチャや訓練手順に依存する既存のMLMLパイプラインを単純化すること。
• アーキテクチャ的・訓練スキームの変更なしに、頑健な損失設計そのものでMLMLにおける性能を著しく向上させられるかを検証すること。
• 初期訓練段階でモデル予測確率を用いて欠落ラベルを高精度で早期に同定できるかを検討すること。
• この文脈において、ポジティブ例に対するセミハードマイニングがハードマイニングよりも効果的であるかを示すこと。

提案手法

• Hill損失を導入。これは再重み付けされたMSEに基づく損失で、容易でないネガティブ例および誤ったネガティブ例に低い重みを、セミハードネガティブ例に高い重みを割り当てることで、誤ったネガティブ例に対して訓練を頑健にする。
• 自己-paced損失補正（SPLC）を提案。これは欠落ラベルの近似分布に基づく最尤推定損失を用い、モデル予測に基づいて誤ったネガティブ例を段階的に補正する手法である。
• 初期訓練段階で、モデル予測確率に高い信頼度閾値（≥0.6）を適用し、誤ったネガティブ例（欠落ラベルの可能性）を高精度に同定する。
• Focal損失を変更し、マージンハイパーパrameter $m$ を導入して、ハードポジティブよりもセミハードポジティブを強調するようにし、これをFocalマージン損失と呼ぶ。
• SPLCには固定された初期訓練エポック（第1エポック後）を採用。性能は第2〜第5エポックの間で正確なタイミングに依存しないため。
• 一般化性と頑健性を検証するため、多様なバックボーン（MobileNetV3、ResNet101、Swin-T）にわたって手法を適用した。

実験結果

リサーチクエスチョン

• RQ1 単一のシンプルな損失関数設計のみで、欠落ラベルを伴うマルチラベル学習において最先端性能を達成可能か？
• RQ2 初期訓練段階ですでに高い精度で誤ったネガティブ例（欠落ラベル）をモデル予測確率によって信頼性高く同定できるか？
• RQ3 Hill関数に基づくネガティブ例の再重み付け（Hill損失）は、標準的な交差エントロピー損失やFocal損失よりも誤ったネガティブ例の処理において優れているか？
• RQ4 モデル予測に基づく欠落ラベルの自己-paced補正は、追加の訓練やネットワーク部品なしに性能向上をもたらせるか？
• RQ5 マルチラベル学習における欠落ラベルの文脈において、ポジティブ例に対するセミハードマイニングがハードマイニングよりも効果的か？

主な発見

• Hill損失は、全テストバックボーンで標準的なBCE、Focal損失、ASLを上回り、MobileNetV3を用いたCOCO-40%ラベルでは71.03 mAPを達成。BCEの68.45 mAPを上回った。
• マージン $m=1$ を用いたFocalマージン損失は、COCO-40%ラベルで75.15 mAPを達成。Focal損失（73.57）とASL（69.65）を上回った。
• 閾値0.6を用いたSPLCは、COCO-40%ラベルで75.69 mAPを達成。BCE（68.45）とWAN（69.27）を顕著に上回った。
• Focalマージン損失とSPLCの組み合わせは、ResNet101で77.20 mAP、Swin-Tで78.19 mAPを達成し、COCO-40%で新たなSOTAを樹立した。
• MobileNetV3、ResNet101、Swin-Tの多様なバックボーンにおいて一貫した改善が得られ、特定のアーキテクチャに依存しない一般化性を示した。
• 閾値 $\tau=0.6$ が、誤検出率が訓練セットで5%未満となるように、精度と再現率のバランスが最良であり、第2〜第5エポックの異なる初期訓練段階でも性能が安定している。