[論文レビュー] Voxel-based 3D Detection and Reconstruction of Multiple Objects from a Single Image

Feng Liu, Xiaoming Liu|arXiv (Cornell University)|Nov 4, 2021

Advanced Vision and Imaging被引用数 15

ひとこと要約

本論文は、1枚の2D画像から複数のオブジェクトの3Dバウンディングボックスと詳細な形状を推定するボクセルベースの3D検出および再構成フレームワークを提案する。3D特徴リフト演算子を導入して位置に敏感なボクセル特徴を生成し、3Dキーポoinトベースのオブジェクト検出のための新規CenterNet-3D検出器、および局所PCA-SDFを用いた粗大から細かい段階の再構成モジュールを提案することで、高精度でリアルタイムな形状再構成を実現した。検出および再構成の両面で最先端の性能を達成し、先行手法と比較して10倍高速な推論を実現した。

ABSTRACT

Inferring 3D locations and shapes of multiple objects from a single 2D image is a long-standing objective of computer vision. Most of the existing works either predict one of these 3D properties or focus on solving both for a single object. One fundamental challenge lies in how to learn an effective representation of the image that is well-suited for 3D detection and reconstruction. In this work, we propose to learn a regular grid of 3D voxel features from the input image which is aligned with 3D scene space via a 3D feature lifting operator. Based on the 3D voxel features, our novel CenterNet-3D detection head formulates the 3D detection as keypoint detection in the 3D space. Moreover, we devise an efficient coarse-to-fine reconstruction module, including coarse-level voxelization and a novel local PCA-SDF shape representation, which enables fine detail reconstruction and one order of magnitude faster inference than prior methods. With complementary supervision from both 3D detection and reconstruction, one enables the 3D voxel features to be geometry and context preserving, benefiting both tasks.The effectiveness of our approach is demonstrated through 3D detection and reconstruction in single object and multiple object scenarios.

研究の動機と目的

• 1枚の2D画像から複数の3Dオブジェクトを同時に検出・再構成する課題に取り組む。この課題は深度の曖昧さとシーンの複雑さによって困難である。
• 2D画像から3Dジオメトリを意識した表現を学習し、検出および再構成の両タスクを支援する。
• 効率的で高精度な3D形状再構成を実現し、リアルタイムの推論を可能にする。
• 検出と再構成の補完的监督を活用して特徴品質とタスクパフォーマンスを向上させる統合フレームワークを開発する。

提案手法

• 3D特徴リフト演算子は、カメラの投影行列を用いて2D画像特徴を3Dボクセルグリッドに射影し、位置符号化を施して特徴の識別性を向上させる。
• 新規のCenterNet-3D検出器は、3D空間におけるキーポイント検出として3Dオブジェクト検出を定式化し、直接的な深度回帰を避けてクラス固有の3Dヒートマップを予測することでオブジェクト中心の局所化を実現する。
• 粗大から細かい段階の再構成モジュールは、粗大レベルの占有グリッドと細かいレベルの局所PCA-SDF表現を用いて、詳細な3D形状を効率的にモデル化する。
• 局所PCA-SDF表現は、各ボクセルごとに符号距離関数（SDF）の低次元基底を学習し、コンパクトで頑健な形状符号化を可能にし、高い再構成精度を達成する。
• 3D検出と再構成タスクからの補完的监督により、ボクセル特徴が幾何的構造と文脈的情報の両方を保持するように共同最適化される。
• 評価のため、18,000枚の実画像、19のオブジェクトカテゴリ、3Dアノテーションを含む新しいベンチマークを構築した。

実験結果

リサーチクエスチョン

• RQ1 1枚の2D画像から、3D検出および再構成を両立できる統合された3Dボクセル特徴表現を学習可能か？
• RQ2 ボクセル化された空間における3Dキーポイント検出として3D検出を定式化することで、2Dベースの手法と比較して中心位置の局所化精度が向上するか？
• RQ3 局所PCA-SDF表現は、従来の暗黙関数ベースの手法と比較して、著しく高速な推論を実現しながらも高精度な3D形状再構成を達成できるか？
• RQ4 提案手法は、未学習のオブジェクトカテゴリに対しても、再構成および検出の両面で良好に一般化できるか？

主な発見

• 提案手法は、単一オブジェクトおよび複数オブジェクトのベンチマークにおいて、3D検出および再構成の両面で最先端のパフォーマンスを達成した。3DキーポイントベースのCenterNet-3D検出器のおかげで、中心位置の局所化精度が向上した。
• 局所PCA-SDF表現は、DeepLS（0.040 × 10³）と比較して、より低いChamfer距離（0.022 × 10³）を達成し、パラメータ数が少なく、256³解像度で10倍高速な推論を実現した。
• 先行SOTA手法と比較して、推論時間を1桁短縮し、後続のアプリケーションに適したリアルタイム性能を達成した。
• PCA-SDF表現は、微小な幾何的摂動（並進±0.1r、回転±4°）に対して頑健であり、テストの変化に対しても低再構成誤差を維持した。
• 未学習のカテゴリに対しても良好な一般化性能を示し、1つのカテゴリで学習した場合に未学習カテゴリで再構成誤差0.028 × 10³を達成した。これは、学習済みカテゴリの0.022 × 10³に近く、優れた性能を示した。