[論文レビュー] Balanced Symmetric Cross Entropy for Large Scale Imbalanced and Noisy Data

F. Huang, Jie Li+1 more|arXiv (Cornell University)|Jul 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 13被引用数 12

ひとこと要約

本論文は、大規模画像分類におけるクラス不均衡とラベルノイズに対処するための新しい損失関数であるバランスドシンメトリック交差エントロピー（BSCE）を提案する。対称的交差エントロピーとクラスバランス重み付けを組み合わせることで、不均衡データセットにおける一般化性能が向上する。PNASNetとネガティブ学習を組み合わせると、オンラインテストデータで平均トップ-1誤差が0.1515にまで低下し、ベースラインモデルを上回る性能を達成する。

ABSTRACT

Deep convolution neural network has attracted many attentions in large-scale visual classification task, and achieves significant performance improvement compared to traditional visual analysis methods. In this paper, we explore many kinds of deep convolution neural network architectures for large-scale product recognition task, which is heavily class-imbalanced and noisy labeled data, making it more challenged. Extensive experiments show that PNASNet achieves best performance among a variety of convolutional architectures. Together with ensemble technology and negative learning loss for noisy labeled data, we further improve the model performance on online test data. Finally, our proposed method achieves 0.1515 mean top-1 error on online test data.

研究の動機と目的

• 大規模プロダクト認識データセットにおける深刻なクラス不均衡とノイズのあるラベルの課題に対処すること。
• 歪んだおよび信頼性の低いアノテーションを伴う現実世界の大規模視覚分類タスクにおけるディープラーニングモデルの性能を向上させること。
• 長尾分布とラベルノイズの悪影響を軽減するロバストなトレーニング目的関数を開発すること。
• 一般化性能の向上を目的として、モデルアーキテクチャ、損失関数、アンサンブル技術の評価と最適化を行うこと。
• 大規模プロダクト認識のオンラインベンチマーク評価において、最先端の性能を達成すること。

提案手法

• 長尾データ分布に対処するために、対称的交差エントロピーとクラスバランス重み付けを組み合わせたハイブリッド損失として、バランスドシンメトリック交差エントロピー（BSCE）を提案する。
• 各クラスごとの損失を再重み付けするためにクラスバランス重み付けを適用し、頻度の高いクラスの影響を低減し、まれなクラスの学習を向上させる。
• トレーニングの安定性を向上させるために、交差エントロピーとその逆方向の両方を最小化する対称的交差エントロピーを用いることで、ラベルノイズに対してよりロバストになる。
• 大規模視覚タスクで優れた性能を示すとして、バックボーンアーキテクチャとしてPNASNetを採用する。
• トレーニング中にノイズのあるラベルの影響をさらに軽減するために、ネガティブ学習損失を統合する。
• 提案された損失関数とモデルアンサンブルを組み合わせることで、一般化性能とテスト精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 大規模画像分類におけるクラス不均衡とラベルノイズの両方に対処できる損失関数は、どのように設計できるか？
• RQ2 クラスバランスを組み込んだ対称的交差エントロピーは、長尾データセットにおけるモデルの一般化性能にどのような影響を与えるか？
• RQ3 BSCE、PNASNet、ネガティブ学習の組み合わせは、現実世界のノイズ多きく不均衡なベンチマークで性能を向上させられるか？
• RQ4 オンラインテストセットにおけるトップ-1誤差の観点から、提案手法は標準的な交差エントロピーおよび他の損失関数と比べてどのように差をつけるか？
• RQ5 モデルアンサンブルは、ノイズ多きく不均衡な状況下でBSCEのロバスト性をどの程度向上させるか？

主な発見

• 提案されたバランスドシンメトリック交差エントロピー（BSCE）損失は、標準的な交差エントロピーと比較して、長尾およびノイズのあるデータセットにおけるモデル性能を顕著に向上させる。
• さまざまなアーキテクチャの中で、BSCEで訓練された際、PNASNetが最も優れた性能を示し、大規模視覚タスクに適していることが実証された。
• ネガティブ学習損失の統合により、ノイズのあるラベルの影響がさらに低減され、テストデータにおける一般化性能が向上した。
• 最終的なモデルは、PNASNet、BSCE、およびアンサンブル技術を組み合わせており、オンラインテストセットで平均トップ-1誤差が0.1515にまで低下し、最先端の性能を達成した。
• BSCEの対称的成分により、特にラベルノイズの下でもトレーニングの安定性とロバスト性が向上した。
• クラスバランス重み付けは、頻度の高いクラスの支配を効果的に軽減し、まれで代表されていないカテゴリの学習をより良く可能にした。