[論文レビュー] OCM3D: Object-Centric Monocular 3D Object Detection

Liang Peng, Fei Liu+3 more|arXiv (Cornell University)|Apr 13, 2021

Advanced Neural Network Applications参考文献 41被引用数 11

ひとこと要約

OCM3D は、オブジェクト中心のボクセル表現を提案し、モノクローラル深度マップとRGB画像をオブジェクトプロポーザルごとに適応的に3Dボクセルに符号化することで、方向推定に局所的オブジェクトパッチを活用し、3D信頼性メカニズムを分解することで検出精度を向上させている。KITTIでは最先端の性能を達成し、歩行者検出においてLiDARベースの結果に近づいている。

ABSTRACT

Image-only and pseudo-LiDAR representations are commonly used for monocular 3D object detection. However, methods based on them have shortcomings of either not well capturing the spatial relationships in neighbored image pixels or being hard to handle the noisy nature of the monocular pseudo-LiDAR point cloud. To overcome these issues, in this paper we propose a novel object-centric voxel representation tailored for monocular 3D object detection. Specifically, voxels are built on each object proposal, and their sizes are adaptively determined by the 3D spatial distribution of the points, allowing the noisy point cloud to be organized effectively within a voxel grid. This representation is proved to be able to locate the object in 3D space accurately. Furthermore, prior works would like to estimate the orientation via deep features extracted from an entire image or a noisy point cloud. By contrast, we argue that the local RoI information from the object image patch alone with a proper resizing scheme is a better input as it provides complete semantic clues meanwhile excludes irrelevant interferences. Besides, we decompose the confidence mechanism in monocular 3D object detection by considering the relationship between 3D objects and the associated 2D boxes. Evaluated on KITTI, our method outperforms state-of-the-art methods by a large margin. The code will be made publicly available soon.

研究の動機と目的

• 既存のモノクローラル3D検出手法が画像のみまたは擬似LiDAR表現に依存するという限界に対処する。これらはノイズの多い深度データや空間モデリングの悪さに苦しむ。
• 全画像やノイズの多い点群ではなく、オブジェクトの画像パッチのみを用いることで、方向推定を向上させ、不要な背景の干渉を排除する。
• 3D検出信頼性を2D検出信頼性と2Dから3Dへの変換の難易度に分解することで、3Dアノテーションがなくても信頼性のキャリブレーションを改善する。
• KITTIベンチマークにおける深刻なデータリーク問題（深度推定の訓練セットと検証セットが重複している）を解消するため、重複のない新しいデータセット分割を提案する。

提案手法

• 本手法は、深度推定による点群を用いて、各2Dオブジェクトプロポーザルに対して適応的ボクセルを構築する。ボクセルサイズは点群の3D空間的分布に基づき決定され、密なオブジェクト領域を強化し、疎な外れ値を抑制する。
• 方向推定には、適切なスケーリング方式でリサイズされた切り出しオブジェクト画像パッチのみを入力とし、局所的意味情報を重視して背景の干渉を排除する。
• 新規の分解型3D信頼性メカニズムは、2D検出信頼性と2Dおよび3Dバウンディングボックスの投影の重なり（IoUに類似）を組み合わせ、2Dから3Dへの変換の難易度を測定する。
• オブジェクト中心のボクセル表現は、RGBと深度情報の両方を効果的に符号化する一方で、モノクローラル擬似LiDAR点群の長尾的・ノイズの多い性質にも耐性を持つように設計されている。
• フレームワークはプラグアンドプレイである。信頼性モジュールと方向推定モジュールは、再訓練なしに任意の2D検出器ベースのモノクローラル3D検出器に統合可能である。
• 従来のベンチマークに存在するデータリーク問題を是正するため、重複のない新しいKITTIデータセット分割を導入する。

実験結果

リサーチクエスチョン

• RQ1 3D点群の分布に基づいてボクセルサイズを適応的に変更するオブジェクト中心のボクセル表現は、擬似LiDARや画像のみの手法と比較して、モノクローラル3D検出性能を向上させることができるか？
• RQ2 モノクローラル3D検出における方向推定において、全画像やノイズの多い点群と比較して、オブジェクト画像パッチのみがより優れた入力となるか？
• RQ3 2D信頼性と2D-3Dボックスの整合性を組み合わせた分解型3D信頼性メカニズムは、3Dアノテーションがなくても検出信頼性のキャリブレーションを改善できるか？
• RQ4 KITTIで広く使われているEigen分割は、深度推定においてデータリークを引き起こしており、モノクローラル3D検出器の報告された性能にどのような影響を与えるか？

主な発見

• 車両カテゴリにおいて、中程度（moderate）セットで96.48%のAP（IoU=0.7）を達成し、同じスプリットでPseudo-LiDAR（92.85%）とM3D-RPN（89.37%）を大きく上回った。
• 歩行者カテゴリでは、70.36%のAP 3D（IoU=0.7）を達成し、元のPseudo-LiDAR（27.29%）を上回り、LiDARベースの手法（72.05%）に近づいた。
• 方向推定ヘッドを提案されたオブジェクトパッチ入力に置き換えることで、車両ではAOSが3.3%、歩行者では10.5%向上し、その有効性が実証された。
• 分解型3D信頼性メカニズムは、Pseudo-LiDARの性能を中程度AP 3Dで相対的に39.87%向上させ、異なる検出器にわたる強力な汎用性を示した。
• 新しいデータセットスプリットにより、データリークが解消され、従来の性能報告が訓練セットと検証セットの重複により誇張されていたことが明らかになった。
• 本手法は高い拡張性を有する。Pseudo-LiDARおよびPatchNetに適用した場合、顕著な性能向上が得られ、プラグアンドプレイの能力が裏付けられた。