[論文レビュー] IoU Loss for 2D/3D Object Detection

Dingfu Zhou, Jin Fang+5 more|arXiv (Cornell University)|Aug 11, 2019

Advanced Neural Network Applications参考文献 27被引用数 16

ひとこと要約

本稿では、回転したバウンディングボックスに対応する統合可能な微分可能IoU損失層を2次元および3次元オブジェクト検出に提案し、IoUを最適化目的とするエンドツーエンド学習を可能にした。KITTIベンチマークにおいて、複数の最先端3次元検出器で一貫した性能向上を達成し、特に高いIoU閾値において顕著な改善が見られた。これは、学習損失と標準的なIoU評価指標を一致させた結果である。

ABSTRACT

In 2D/3D object detection task, Intersection-over-Union (IoU) has been widely employed as an evaluation metric to evaluate the performance of different detectors in the testing stage. However, during the training stage, the common distance loss (\eg, $L_1$ or $L_2$) is often adopted as the loss function to minimize the discrepancy between the predicted and ground truth Bounding Box (Bbox). To eliminate the performance gap between training and testing, the IoU loss has been introduced for 2D object detection in \cite{yu2016unitbox} and \cite{rezatofighi2019generalized}. Unfortunately, all these approaches only work for axis-aligned 2D Bboxes, which cannot be applied for more general object detection task with rotated Bboxes. To resolve this issue, we investigate the IoU computation for two rotated Bboxes first and then implement a unified framework, IoU loss layer for both 2D and 3D object detection tasks. By integrating the implemented IoU loss into several state-of-the-art 3D object detectors, consistent improvements have been achieved for both bird-eye-view 2D detection and point cloud 3D detection on the public KITTI benchmark.

研究の動機と目的

• 2次元／3次元オブジェクト検出における、学習（L1／L2損失を使用）と評価（IoU指標を使用）の間のパフォーマンスギャップを解消すること。
• 軸に沿ったバウンディングボックスでのみ機能する従来のIoU損失手法を、回転したおよび3次元のバウンディングボックスに拡張すること。
• 2次元および3次元オブジェクト検出タスクに適用可能な、統合的かつフレームワークに依存しないIoU損失層を開発すること。
• 公開されたKITTIベンチマークを用いて、提案されたIoU損失の有効性を最先端の3次元検出器に対して検証すること。

提案手法

• 解析的幾何学を用いて、2つの回転した2次元バウンディングボックス間の交差領域と和集合領域を計算することで、微分可能なIoU計算を導出する。
• 1つの回転自由度を持つ3次元バウンディングボックスに対しても、微分可能性を保ちつつIoU計算を拡張する。
• 既存の検出フレームワークにアーキテクチャの変更なしにシームレスに統合可能な、統合的な微分可能IoU損失層を提案する。
• バックプロパゲーションを用いて、予測されたバウンディングボックスパラメータに関するIoU損失の勾配を計算し、エンドツーエンド学習を可能にする。
• KITTIデータセット上で、SECOND、PointPillars、Point R-CNNなどの複数の3次元検出器にIoU損失を統合し、手法の有効性を検証する。
• 標準的なKITTI 3次元検出ベンチマークを用いて評価し、さまざまなIoU閾値におけるmAPとAP@70を比較する。

実験結果

リサーチクエスチョン

• RQ1 回転した2次元および3次元バウンディングボックスに対して、学習とIoUベースの評価を一致させるための微分可能なIoU損失を定式化できるか？
• RQ2 提案されたIoU損失を既存の3次元検出器に統合することで、異なる検出ベンチマークで一貫したパフォーマンス向上が得られるか？
• RQ3 mAPおよび高いIoU閾値におけるパフォーマンスの観点から、提案されたIoU損失はL1損失や最近の他の損失（例：GIoU）よりも優れているか？
• RQ4 IoU損失は1段階および2段階の3次元検出フレームワークの両方へ一般化可能か？

主な発見

• SECOND検出器において、KITTIバリデーションスプリットでmAPが1.01%の絶対的向上を達成し、AP@70は89.16%に到達した。
• KITTIテストスプリットでは、SECONDベースラインのmAPが「中程度」カテゴリで0.39%向上し、「困難」カテゴリで0.86%向上した。
• PointRCNN2段階検出器において、元のL1損失およびGIoU損失を上回る性能を示し、バリデーションセットで89.16%のmAPを達成した。
• 本手法はKITTIベンチマークで最先端のパフォーマンスを達成し、テストスプリットの「困難」カテゴリにおいて、マルチモodal融合法および2段階手法を上回った。
• 特に高いIoU閾値において改善が顕著で、より優れた局所化精度を示している。