[論文レビュー] IoU-balanced Loss Functions for Single-stage Object Detection

Shengkai Wu, Jinrong Yang+2 more|arXiv (Cornell University)|Aug 15, 2019

Advanced Neural Network Applications被引用数 15

ひとこと要約

本稿では、分類タスクと局所化タスクの整合性を高めることで、1段階型オブジェクト検出器における局所化精度を向上させるために、IoUバランス損失関数を提案する。分類損失をIoUに合わせて再重み付けし、高IoUの正例を優先するIoUバランス分類損失と、低IoU予測からの勾配を低減するIoUバランス局所化損失を導入することで、COCOで最大1.7%のAPおよび2.4%のAP75の向上を達成した。

ABSTRACT

Single-stage object detectors have been widely applied in computer vision applications due to their high efficiency. However, we find that the loss functions adopted by single-stage object detectors hurt the localization accuracy seriously. Firstly, the standard cross-entropy loss for classification is independent of the localization task and drives all the positive examples to learn as high classification scores as possible regardless of localization accuracy during training. As a result, there will be many detections that have high classification scores but low IoU or detections that have low classification scores but high IoU. Secondly, for the standard smooth L1 loss, the gradient is dominated by the outliers that have poor localization accuracy during training. The above two problems will decrease the localization accuracy of single-stage detectors. In this work, IoU-balanced loss functions that consist of IoU-balanced classification loss and IoU-balanced localization loss are proposed to solve the above problems. The IoU-balanced classification loss pays more attention to positive examples with high IoU and can enhance the correlation between classification and localization tasks. The IoU-balanced localization loss decreases the gradient of examples with low IoU and increases the gradient of examples with high IoU, which can improve the localization accuracy of models. Extensive experiments on challenging public datasets such as MS COCO, PASCAL VOC and Cityscapes demonstrate that both IoU-balanced losses can bring substantial improvement for the popular single-stage detectors, especially for the localization accuracy. On COCO test-dev, the proposed methods can substantially improve AP by $1.0\%\sim1.7\%$ and AP75 by $1.0\%\sim2.4\%$. On PASCAL VOC, it can also substantially improve AP by $1.3\%\sim1.5\%$ and AP80, AP90 by $1.6\%\sim3.9\%$.

研究の動機と目的

• 分類スコアが高いにもかかわらず正確なバウンディングボックスを出力しない1段階型検出器における、分類と局所化の不整合を是正すること。
• 標準的な交差エントロピー損失およびスムーズL1損失が、トレーニング中にIoUを無視することで局所化性能が低下することを特定すること。
• 分類の信頼度と局所化品質の相関を明示的に向上させるために、IoUを統合した統一された損失フレームワークを提案すること。
• バックプロパゲーション中に、低IoUで局所化が難しい例の影響を低減することで、モデルの汎化性能とロバスト性を向上させること。

提案手法

• 正例の真値ボックスとのIoUに基づいて再重み付けを行うIoUバランス分類損失を導入し、高IoUの正例に高い重みを付与する。
• 勾配をIoUでスケーリングするIoUバランス局所化損失を設計し、低IoU予測の影響を低減するとともに、高IoUの予測からの勾配を強化する。
• 分類損失におけるIoU重み付け分布の鋭さを制御するため、学習可能な温度パラメータを導入する。
• アーキテクチャの変更なしに、RetinaNet や YOLO などの標準的な1段階型検出器に損失を適用する。
• 標準的な最適化手法を用いてエンドツーエンドで学習し、従来の交差エントロピー損失およびスムーズL1損失に置き換える。
• バックプロパゲーション中に勾配の流れを維持しつつ、高品質な検出結果に重点を置いた学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 分類学習時にIoUを無視することで、1段階型検出器の局所化性能にどのような影響を与えるか？
• RQ2 正例をそのIoUに基づいて再重み付けすることで、分類信頼度と局所化精度の相関をどの程度向上できるか？
• RQ3 局所化損失を低IoU予測を低減するように変更することで、回帰の収束性および汎化性能が向上するか？
• RQ4 IoUバランス損失は、COCO、PASCAL VOC、Cityscapes といった標準的な検出ベンチマークにどのような影響を与えるか？
• RQ5 提案手法はAPおよびAP75の両方を向上させるか？ これにより、平均的および高IoUでの検出性能向上が示されるか？

主な発見

• MS COCO test-devでは、複数の1段階型検出器でAPが1.0%〜1.7%向上、AP75が1.0%〜2.4%向上した。
• PASCAL VOCでは、APが1.3%〜1.5%向上し、AP90では最大3.9%の向上を達成しており、高IoU検出性能の強化が顕著に現れた。
• IoUバランス局所化損失は、局所化精度が悪い外れ値の影響を顕著に低減した。
• IoUバランス分類損失は、分類信頼度とIoUの相関を高め、高スコアでも局所化品質が低い偽陽性を低減した。
• 異なるバックボーンアーキテクチャおよび検出ヘッドにおいても一貫した向上が得られ、モデル間での汎用性を示した。
• アーキテクチャの変更や追加の推論コストなしに改善が達成されたため、実世界の導入に実用的である。