[論文レビュー] Equalization Loss v2: A New Gradient Balance Approach for Long-tailed Object Detection

Jingru Tan, Xin Lu+3 more|arXiv (Cornell University)|Dec 15, 2020

Advanced Neural Network Applications参考文献 45被引用数 9

ひとこと要約

本論文は、長尾物体検出におけるエンド・ツー・エンド学習中に正例と負例の勾配を動的にバランスさせる、勾配誘導型再重み付けメカニズムであるEqualization Loss v2 (EQL v2)を提案する。カテゴリごとの勾配比を均等化することで、EQL v2はLVISおよびOpen Imagesで最先端の性能を達成し、エンド・ツー・エンドおよび分離学習手法を上回る4–7.3 APの向上を達成し、特に希少カテゴリのAPを17–22ポイント向上させる。

ABSTRACT

Recently proposed decoupled training methods emerge as a dominant paradigm for long-tailed object detection. But they require an extra fine-tuning stage, and the disjointed optimization of representation and classifier might lead to suboptimal results. However, end-to-end training methods, like equalization loss (EQL), still perform worse than decoupled training methods. In this paper, we reveal the main issue in long-tailed object detection is the imbalanced gradients between positives and negatives, and find that EQL does not solve it well. To address the problem of imbalanced gradients, we introduce a new version of equalization loss, called equalization loss v2 (EQL v2), a novel gradient guided reweighing mechanism that re-balances the training process for each category independently and equally. Extensive experiments are performed on the challenging LVIS benchmark. EQL v2 outperforms origin EQL by about 4 points overall AP with 14-18 points improvements on the rare categories. More importantly, it also surpasses decoupled training methods. Without further tuning for the Open Images dataset, EQL v2 improves EQL by 7.3 points AP, showing strong generalization ability. Codes have been released at https://github.com/tztztztztz/eqlv2

研究の動機と目的

• 長尾物体検出におけるエンド・ツー・エンド学習と分離学習の間の持続的な性能差を是正すること。
• Equalization Loss (EQL) などの既存のエンド・ツー・エンド手法において、正例と負例の間で勾配が不均衡であることが根本的問題であると特定すること。
• 各カテゴリごとに独立してトレーニングをバランスさせる勾配誘導型再重み付けメカニズムを開発し、同等の学習効率を実現すること。
• 追加の微調整段階を必要とせず、長尾ベンチマークで最先端の性能を達成すること。
• 最小限のハイパーパrameterチューニングで、LVISやOpen Imagesのような異なるデータセットに強く一般化できることを示すこと。

提案手法

• 各カテゴリごとに独立したサブタスクとして物体検出をモデル化し、カテゴリ固有の勾配バランスを可能にする。
• トレーニング中に各カテゴリの累積された正例対負例勾配比を追跡する勾配比インジケータを導入する。
• 現在の勾配比に基づいてシグモイド様のマッピング関数を用いて、正例と負例の勾配を動的に再重み付けし、未十分に学習されたカテゴリに優先を置く。
• すべてのカテゴリに同一の単純な再重み付けルールを適用することで、等しい扱いと安定した最適化を保証する。
• 再重み付けメカニズムを分類損失に直接統合し、追加の段階を必要とせずエンド・ツー・エンド学習を可能にする。
• バランスとロバストネスを最適化するため、ハイパーパrameter μ（高勾配比の閾値）と γ（不均衡への感受性）をチューニングする。

Figure 1 : Visualization of accumulative gradients ratio of different trained models. Best view in color. The x-axis is the sorted category index of 1203 categories of LVIS dataset. The y-axis is the accumulative gradient ratio of positives to negatives. Here gradient is the gradient of the output l

実験結果

リサーチクエスチョン

• RQ1 なぜEqualization Loss (EQL) などの既存のエンド・ツー・エンド手法は、長尾物体検出において分離学習に比べて依然として性能が劣るのか？
• RQ2 長尾設定下で、正例と負例の間の勾配不均衡がモデル学習に及ぼす影響はどの程度か？
• RQ3 動的でカテゴリ固有の勾配再重み付けメカニズムは、追加の微調整段階を必要とせずエンド・ツー・エンド学習を改善できるか？
• RQ4 勾配比に基づく統一された再重み付けルールは、多様な長尾データセットにわたってより良い一般化をもたらすか？
• RQ5 エンド・ツー・エンド手法が長尾物体検出において分離学習パラダイムを上回ることができるか？

主な発見

• LVISベンチマークでは、EQL v2はベースラインから6ポイント、元のEQLから4ポイントの全体AP向上を達成し、希少カテゴリでは17–20ポイントの向上を記録した。
• Open Imagesでは52.6 mAPを達成し、ベースラインから9.5ポイント、EQLから7.3ポイントの向上を記録し、最も希少なカテゴリグループでは22.3ポイントの向上を達成した。
• EQL v2は、最先端の分離学習アプローチを含む、すべての既存手法をLVISの挑戦的データセットで上回った。
• モデルは強力な一般化性能を維持しており、LVISで使用した同一のハイパーパrameterを用いても、ResNet-101バックボーンを用いてOpen Imagesで55.6 mAPを達成した。
• アブレーションスタディにより、μ = 0.9およびγ = 12が最適なバランスを提供することが確認され、より高いμ値は性能向上に寄与し、γは妥当な範囲内でロバストであった。
• 勾配比の可視化結果から、EQL v2はベースラインやEQLと比べて、特に希少クラスにおいてはるかにバランスの取れた勾配分布を達成していることが示された。

Figure 2 : The accumulated gradients ratio of positives to negatives. Models are trained with total 75k iterations. We show the values at different training iteration. We compare the accumulated gradients of two models, Mask R-CNN with sigmoid loss and EQL v2.