[論文レビュー] Deep Fitting Degree Scoring Network for Monocular 3D Object Detection

Lijie Liu, Jiwen Lu+3 more|arXiv (Cornell University)|Apr 26, 2019

Advanced Neural Network Applications参考文献 2被引用数 10

ひとこと要約

本稿では、2次元画像の手がかりのみを用いて、3次元の提案領域と物体との間の3次元のオーバーラップ（IoU）を推定することで、3次元局所化精度を向上させる、深層フィッティング度スコアリングネットワーク（FQNet）を提案する。アンカーに基づく手法で次元と姿勢を回帰し、その後2次元投影における重なり具合を通じて候補となる3次元ボックスのスコアを付与することで、KITTIデータセット上で最先端の性能を達成し、特に高いIoU閾値においても従来の単眼手法を上回る。

ABSTRACT

In this paper, we propose to learn a deep fitting degree scoring network for monocular 3D object detection, which aims to score fitting degree between proposals and object conclusively. Different from most existing monocular frameworks which use tight constraint to get 3D location, our approach achieves high-precision localization through measuring the visual fitting degree between the projected 3D proposals and the object. We first regress the dimension and orientation of the object using an anchor-based method so that a suitable 3D proposal can be constructed. We propose FQNet, which can infer the 3D IoU between the 3D proposals and the object solely based on 2D cues. Therefore, during the detection process, we sample a large number of candidates in the 3D space and project these 3D bounding boxes on 2D image individually. The best candidate can be picked out by simply exploring the spatial overlap between proposals and the object, in the form of the output 3D IoU score of FQNet. Experiments on the KITTI dataset demonstrate the effectiveness of our framework.

研究の動機と目的

• 深度の手がかりが欠落していること、2次元の外観情報が位置推定に曖昧であるため、単眼3次元物体検出の不適切な性質に対処すること。
• 2次元検出誤差に敏感で、視覚的外観情報の活用が不十分なタイト制約に基づく手法の限界を克服すること。
• 2次元画像空間における投影された3次元提案領域と物体との間のフィット度スコアを学習することで、3次元局所化精度を向上させること。
• ステレオ、RGB-D、または点群データに依存せずに、単一の単眼画像のみを用いて高精度な3次元検出を実現すること。
• アンカーベースの回帰と深層フィット度スコアリングを統合したエンドツーエンドの3次元検出パイプラインを確立すること。

提案手法

• アンカーを用いて3次元空間における物体の寸法と姿勢を回帰し、初期の3次元提案領域を生成する。
• 3次元空間に多数の3次元バウンディングボックス候補を密にサンプリングし、2次元画像平面に投影する。
• フィッティング・クオリティ・ネットワーク（FQNet）を、2次元特徴のみを用いて、各投影された3次元提案領域と正解物体との3次元IoUを予測するように訓練する。
• FQNetは、2次元投影と物体間の空間的重なりパターンを活用して3次元空間的関係を推定し、頑健な候補選択を可能にする。
• 最終的な検出結果は、FQNetが予測した3次元IoUスコアが最大の3次元提案領域として選択される。
• 寸法、姿勢、3次元IoU予測のマルチタスク監視を用いて、エンドツーエンドでフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 投影された3次元提案領域からの2次元視覚的ヒントを効果的に活用して3次元IoUを推定し、単眼3次元検出における局所化精度を向上させることができるか？
• RQ2 2次元投影と物体との間のフィット度スコアを学習することで、タイト制約に基づく手法よりもより頑健な3次元局所化が達成できるか？
• RQ3 2次元投影にのみ学習させた深層ネットワークが、明示的な深度監視なしに高精度な3次元検出を達成できるか？
• RQ4 標準ベンチマーク（例：KITTI）において、提案手法は最先端の単眼3次元検出アプローチと比較してどのように差をつけるか？
• RQ5 FQNetは、さまざまなIoU閾値と難易度レベルにおいて、検出性能をどの程度向上させるか？

主な発見

• 提案手法は、IoU=0.5におけるKITTI 3次元検出ベンチマークで28.98%の3D APを達成し、従来の単眼手法を上回った。
• より高い難易度のIoU閾値0.7において、中程度の難易度セットで5.45%の3D APを達成し、単眼手法の中で第1位となり、この閾値でステレオベースの3DOPをも上回った。
• 平均寸法推定誤差は約0.15メートルであり、比較対象手法の中で最小であり、サイズと形状の正確な回帰を示している。
• エイジリティおよび中程度の難易度レベルにおいて顕著な向上を示し、Mono3DおよびDeep3DBoxと比較して、ベーシック・エイジリティ・ビューAPで3%の絶対的増加を達成した。
• FQNetは、正解の3次元IoUと相関係数0.85を示しており、フィット度推定における強力な一般化性能と信頼性を示している。
• 定性的な結果から、2次元検出が不完全であっても、多様なシーンにおいて適切にフィットする3次元バウンディングボックスを生成することが可能であることが示された。