[論文レビュー] Equalization Loss for Long-Tailed Object Recognition

Jingru Tan, Changbao Wang+5 more|arXiv (Cornell University)|Mar 11, 2020

Advanced Neural Network Applications参考文献 50被引用数 24

ひとこと要約

本論文は、長尾物体認識における勾配の不均衡を軽減するため、珍しいカテゴリの負例からの抑圧的勾配をバックプロパゲーション中に抑制することで、新たな学習目的であるEqualization Loss (EQL) を提案する。尾部クラスの勾配を無視することにより、EQL はよりバランスの取れた学習を可能にし、LVIS におけるMask R-CNNベースライン比で、珍しいカテゴリで4.1%、一般的なカテゴリで4.8%のAP向上を達成し、LVISチャレンジ2019で1位を獲得した。

ABSTRACT

Object recognition techniques using convolutional neural networks (CNN) have achieved great success. However, state-of-the-art object detection methods still perform poorly on large vocabulary and long-tailed datasets, e.g. LVIS. In this work, we analyze this problem from a novel perspective: each positive sample of one category can be seen as a negative sample for other categories, making the tail categories receive more discouraging gradients. Based on it, we propose a simple but effective loss, named equalization loss, to tackle the problem of long-tailed rare categories by simply ignoring those gradients for rare categories. The equalization loss protects the learning of rare categories from being at a disadvantage during the network parameter updating. Thus the model is capable of learning better discriminative features for objects of rare classes. Without any bells and whistles, our method achieves AP gains of 4.1% and 4.8% for the rare and common categories on the challenging LVIS benchmark, compared to the Mask R-CNN baseline. With the utilization of the effective equalization loss, we finally won the 1st place in the LVIS Challenge 2019. Code has been made available at: https: //github.com/tztztztztz/eql.detectron2

研究の動機と目的

• LVISのような長尾データセットにおいて、頻度の高いカテゴリに圧倒され、珍しいカテゴリの性能が著しく低下する物体検出器の問題を解決すること。
• この失敗の根本的原因を、珍しいカテゴリにおける負例からの過剰な抑圧的勾配に起因するクラス間競合であると分析すること。
• 珍しいクラスの分類器重みの更新時に、負の勾配（すなわち、他のすべてのカテゴリおよび背景）を意図的に無視することで、すべてのカテゴリにおける学習ダイナミクスを均等化するシンプルで効果的な損失関数を提案すること。
• 頻度の高いカテゴリの性能を損なわせることなく、珍しいカテゴリにおける汎化性能と性能を向上させること。
• 複数のタスク、特に物体検出、インスタンスセグメンテーション、画像分類において、長尾ベンチマーク上で本手法の有効性を検証すること。

提案手法

• バックプロパゲーション中に、珍しいカテゴリの負の勾配の寄与を低減するクラス固有の重み付け方式を損失関数に導入する。
• コアなアイデアは、珍しいカテゴリの分類器重みを更新する際、負のサンプル（すなわち、他のすべてのカテゴリおよび背景）からの勾配を無視することで、それらが抑制されないようにすることである。
• 等価化損失は、クラス頻度に依存する動的重み係数を備えた変更された交差エントロピー損失として定式化されており、低頻度クラスにおける負のサンプルの影響を低減する。
• 標準的な学習パイプラインと互換性があり、アーキテクチャの変更なしに任意の分類ヘッドに適用可能である。
• 画像分類向けに自己正則化型の拡張版、SEQL を提案し、ImageNet-LT などの長尾データセットでさらに性能向上を達成した。
• 最終的なソリューションでは、データオーグメンテーション、マルチスケールテスト、アンサンブル戦略と組み合わせ、特にLVISチャレンジ2019で効果を発揮した。

実験結果

リサーチクエスチョン

• RQ1 最先端の物体検出器が、LVISのような長尾データセット、特に珍しいカテゴリにおいてなぜ失敗するのか？
• RQ2 負のサンプルからのクラス間競合が、珍しいカテゴリの学習ダイナミクスにどのように影響を与えるのか？
• RQ3 バックプロパゲーション中の勾配フローを変更することで、珍しいカテゴリの認識性能を向上させられるか？
• RQ4 珍しいカテゴリの負のサンプルからの抑圧的勾配を抑制することで、頻度の高いカテゴリの性能を損なわず、より良い汎化性能が得られるか？
• RQ5 提案された損失関数は、物体検出、インスタンスセグメンテーション、画像分類といった異なるタスクに一般化可能か？

主な発見

• 提案されたEqualization Lossは、LVISベンチマーク上でのMask R-CNNベースライン比で、珍しいカテゴリで4.1%、一般的なカテゴリで4.8%のAP向上を達成した。
• 本手法はLVISチャレンジ2019で1位を獲得し、2万件のテストセットにおける最終的なMask APは28.85を記録した。これは2位（26.67）および3位（24.04）を大きく上回った。
• ImageNet-LTでは、EQLの拡張版であるSEQLが36.44%のトップ-1精度を達成し、Focal Loss（30.5%）やOLTR（35.6%）といった先行手法を上回った。
• 等価化損失は、図1に示すように、珍しいカテゴリの負のサンプルからの平均勾配ノルムを効果的に低減し、よりバランスの取れた学習ダイナミクスを実現した。
• 図2の可視化により、EQLが珍しいカテゴリの正例プロポーザルの平均予測確率を向上させつつ、頻度の高いカテゴリの性能を損なわないことが確認された。
• 本手法は高い汎化性を示した。アーキテクチャの複雑な変更を要せず、物体検出、セグメンテーション、分類の各タスクにおいて長尾データセット上で性能向上を達成した。