[論文レビュー] MonoPair: Monocular 3D Object Detection Using Pairwise Spatial Relationships

Yongjian Chen, Lei Tai+2 more|arXiv (Cornell University)|Mar 1, 2020

Advanced Neural Network Applications参考文献 41被引用数 24

ひとこと要約

MonoPairは、学習された不確実性重みを用いた不確実性に配慮した予測と非線形最小二乗最適化を用いて、近接する物体間の対ごとの空間的関係をモデル化することで、遮蔽された物体の検出精度を向上させる単眼3D物体検出手法を提案する。KITTI 3Dベンチマークにおいて、特に困難で重度に遮蔽されたサンプルに対して最先端の性能を達成しており、学習された不確実性重みを用いて物体位置と幾何的制約を同時に最適化することで実現している。

ABSTRACT

Monocular 3D object detection is an essential component in autonomous driving while challenging to solve, especially for those occluded samples which are only partially visible. Most detectors consider each 3D object as an independent training target, inevitably resulting in a lack of useful information for occluded samples. To this end, we propose a novel method to improve the monocular 3D object detection by considering the relationship of paired samples. This allows us to encode spatial constraints for partially-occluded objects from their adjacent neighbors. Specifically, the proposed detector computes uncertainty-aware predictions for object locations and 3D distances for the adjacent object pairs, which are subsequently jointly optimized by nonlinear least squares. Finally, the one-stage uncertainty-aware prediction structure and the post-optimization module are dedicatedly integrated for ensuring the run-time efficiency. Experiments demonstrate that our method yields the best performance on KITTI 3D detection benchmark, by outperforming state-of-the-art competitors by wide margins, especially for the hard samples.

研究の動機と目的

• 単眼画像における重度に遮蔽された3D物体を検出する課題に取り組むこと。これは、可視情報が限られているため個々の物体検出が失敗するためである。
• 周辺の物体間の幾何的関係を活用することで、検出精度を向上させること。これは、人間の視覚的直感にインspiredされている。
• 不確実性推定を3D物体検出に統合することで、耐障害性を高め、最適化をガイドすること。
• 後処理最適化を備えた効率的でワンステージ、アンカーフリー検出器を開発し、リアルタイム推論速度を維持すること。
• 特に困難で遮蔽されたサンプルにおいて、既存の最先端手法を上回る性能をKITTI 3D検出ベンチマークで達成すること。

提案手法

• 本手法は、隣接する物体ペア間の対間空間的制約を用いて、3D物体検出を連合最適化問題として定式化する。
• アレアトリック不確実性（aleatoric uncertainty）を推定する不確実性に配慮した予測ヘッドを導入し、深度（σᶻ）と投影2Dオフセット（σᵘᵛ）の不確実性を教師なしで学習する。
• 空間的制約は、2つの物体ペア間の幾何的中心に位置するキーポイントとしてモデル化され、相対的な3D位置と距離が符号化される。
• 予測された物体位置と対間制約が非線形最小二乗法で最適化され、不確実性値がコスト関数における適応的重みとして使用される。
• ワンステージ、アンカーフリー検出器に軽量な後処理最適化モジュールを統合し、GTX 1080 Tiで1画像あたり57 msのリアルタイム推論を実現する。
• ペアマッチングは空間的近接性とIoUに基づいて実施され、最適化の複雑さと性能のバランスを取るために、高品質なペアのサブセットのみが使用される。

実験結果

リサーチクエスチョン

• RQ1 近接する3D物体間の対間空間的関係をモデル化することで、特に遮蔽されたサンプルにおいて、単眼3D物体検出の性能が向上するか？
• RQ2 3D物体検出予測にアレアトリック不確実性を組み込むことで、耐障害性と最適化精度が向上するか？
• RQ3 物体位置と空間的制約の不確実性重み付き非線形最小二乗最適化により、ベースライン手法よりも優れた検出性能が得られるか？
• RQ4 後処理最適化を備えたワンステージ、アンカーフリー検出器は、リアルタイム推論速度を維持しながら最先端の性能を達成できるか？
• RQ5 性能の低下や計算コストの増加を招かずに、最適な対間制約の数はどの程度か？

主な発見

• MonoPairはKITTI 3D検出ベンチマークで最高の性能を達成し、Moderateセットで46.90%のAP₃Dを記録し、M3D-RPNや他の最先端手法を上回っている。
• 難易度の高いサンプル（IoU ≥ 0.7）では、MonoPairが17.39%のAP₃Dを達成し、ベースライン（7.81%）および他の競合手法と比べ顕著な向上を示している。
• アブレーションスタディの結果、深度の不確実性（σᶻ）とオフセットの不確実性（σᵘᵛ）を併用することで最良の性能が得られ、ベースライン比でAP₃Dが1.5%向上した。
• 1画像あたりの最適な対間制約数は5〜8個であり、この範囲で平均精度の向上が最大（17.39% AP₃D）となり、少ないまたは多い場合よりも優れている。
• 最適化コスト関数に学習された不確実性を重みとして使用することで、固定重み戦略（例：単位行列やカメラ距離に基づく重み付け）を上回る性能を発揮し、その有効性が裏付けられた。
• 本手法はGTX 1080 Tiで1画像あたり57 msで実行され、リアルタイムデプロイメントに適しており、領域提案ベースの手法よりも2倍以上速い。