[論文レビュー] IoU-aware Single-stage Object Detector for Accurate Localization

Shengkai Wu, Xiaoping Li+1 more|arXiv (Cornell University)|Dec 12, 2019

Advanced Neural Network Applications参考文献 32被引用数 14

ひとこと要約

本論文は、各検出ボックスの交差率（IoU）を予測し、分類スコアと予測IoUの積を検出信頼度として使用することで、局所化精度を向上させるIoUに配慮した1段階型オブジェクト検出器を提案する。この手法はNMSおよびCOCOのAP計算を改善し、COCOではAPが1.7–1.9%、AP75が2.2–2.5%向上し、PASCAL VOCではAPが2.9–4.4%向上するが、効率性を損なわない。

ABSTRACT

Due to the simpleness and high efficiency, single-stage object detectors have been widely applied in many computer vision applications . However, the low correlation between the classification score and localization accuracy of the predicted detections has severely hurt the localization accuracy of models. In this paper, IoU-aware single-stage object detector is proposed to solve this problem. Specifically, IoU-aware single-stage object detector predicts the IoU for each detected box. Then the classification score and predicted IoU are multiplied to compute the final detection confidence, which is more correlated with the localization accuracy. The detection confidence is then used as the input of the subsequent NMS and COCO AP computation, which will substantially improve the localization accuracy of models. Sufficient experiments on COCO and PASCAL VOC datasets demonstrate the effectiveness of IoU-aware single-stage object detector on improving model's localization accuracy. Without whistles and bells, the proposed method can substantially improve AP by $1.7\%\sim1.9\%$ and AP75 by $2.2\%\sim2.5\%$ on COCO extit{test-dev}. On PASCAL VOC, the proposed method can substantially improve AP by $2.9\%\sim4.4\%$ and AP80, AP90 by $4.6\%\sim10.2\%$. Code is available here: {https://github.com/ShengkaiWu/IoU-aware-single-stage-object-detector}.

研究の動機と目的

• 1段階型オブジェクト検出器における分類スコアと局所化精度の相関が低いことが平均精度を低下させることを是正すること。
• 予測されたIoUを介して局所化精度を組み込むことで、NMSおよびAP計算における検出信頼度のランク付けを改善すること。
• 大幅に局所化性能を向上させつつも、1段階型検出器の効率性を維持すること。
• 予測IoUと真値IoUの差を分析し、今後の改善の余地を特定すること。

提案手法

• RetinaNetの回帰ブランチの最終層において、回帰ヘッドと並列に追加のIoU予測ヘッドを設ける。
• 学習段階では、分類ヘッドおよび回帰ヘッドと独立した損失関数を用いて、IoUヘッドを同時に最適化する。
• 推論段階では、各ボックスについて分類スコアと予測IoUの積を検出信頼度として計算する。
• IoUに配慮した信頼度スコアをNMSにおける検出のランク付けおよびCOCOのAP計算に使用し、局所化精度と整合性を高める。
• 標準的な指標（AP、AP75、AP80、AP90）を用いて、MS COCOおよびPASCAL VOCデータセットで評価する。
• アブレーションスタディでは、予測IoUと真値IoUを用いた性能を比較し、予測と実際の局所化品質との差を分析する。

実験結果

リサーチクエスチョン

• RQ1 分類スコアと局所化精度の相関が1段階型検出器の検出性能に与える影響は何か？
• RQ2 各検出に対してIoUを予測することで、NMSおよびAP計算における検出のランク付けが向上するか？
• RQ3 予測IoUと真値IoUの間の性能ギャップは何か？ そして、それがモデルのさらなる向上を制限する要因となるか？
• RQ4 IoUに配慮した信頼度ランク付けにより、AP75、AP80、AP90などの局所化指標に測定可能な向上が見られるか？

主な発見

• IoUに配慮した検出器は、COCOのテストデブセットでAPが1.7–1.9%、AP75が2.2–2.5%向上した。
• PASCAL VOCでは、APが2.9–4.4%向上し、AP80とAP90がそれぞれ4.6–10.2%向上した。
• 予測IoUは真値IoUとやや弱い相関しか示さないため、さらなる性能向上を制限する大きなギャップが存在することが示唆された。
• 推論時に真値IoUを使用すると、検出信頼度と局所化精度の間に強い相関が得られ、本手法の設計根拠を裏付ける結果となった。
• 分類スコアが低くても局所化精度が高い検出は、標準的なRetinaNetでは信頼度が低いため抑制されがちだが、IoUに配慮したバージョンではより良く保持される。
• 多くの誤分類検出は、IoU_eval（0–0.3）が低くてもIoU_truthが高いために特定され、分類エラーが局所化精度が良い状況でも継続していることが示唆された。