[論文レビュー] ROCA: Robust CAD Model Retrieval and Alignment from a Single Image

Can Gümeli, Angela Dai+1 more|arXiv (Cornell University)|Dec 3, 2021

3D Surveying and Cultural Heritage被引用数 5

ひとこと要約

ROCAは、密度的な2D-3D対応（深度および正規化物体座標）に基づく微分可能Procrustes最適化を用いて、1枚のRGB画像からロバストな3D CADモデル検索と9自由度（DoF）の姿勢整合を実現するエンドツーエンド手法を提案する。幾何学的特徴を捉えた埋め込みと微分可能整合による同時に最適化することで、ROCAはScanNetで17.6%の検索指向の精度を達成し、SOTA比で相対的に8.1%の向上を実現した。

ABSTRACT

We present ROCA, a novel end-to-end approach that retrieves and aligns 3D CAD models from a shape database to a single input image. This enables 3D perception of an observed scene from a 2D RGB observation, characterized as a lightweight, compact, clean CAD representation. Core to our approach is our differentiable alignment optimization based on dense 2D-3D object correspondences and Procrustes alignment. ROCA can thus provide a robust CAD alignment while simultaneously informing CAD retrieval by leveraging the 2D-3D correspondences to learn geometrically similar CAD models. Experiments on challenging, real-world imagery from ScanNet show that ROCA significantly improves on state of the art, from 9.5% to 17.6% in retrieval-aware CAD alignment accuracy.

研究の動機と目的

• 1枚のRGB画像から軽量でコンactなCADモデルを用いて、現実世界のシーンの正確な3D認識を可能にすること。
• 3Dオブジェクトの姿勢回帰の限界を克服するため、微分可能で幾何学的特徴を考慮した最適化プロセスを導入すること。
• 3D正規化座標と代理の形状補完目的を活用する共同埋め込みを学習することで、CAD検索を向上させること。
• インタラクティブなアプリケーションに適したリアルタイム推論性能を達成すること。
• 現実世界の画像におけるノイズや不完全な2D-3D対応に強い耐性を高めること。

提案手法

• ROCAは、1枚のRGB画像内のオブジェクトを検出およびインスタンスセグメンテーションするため、Mask R-CNNバックボーンを用いる。
• 2D-3D対応を確立するために、ピクセル単位の深度と正規化物体座標（NOCs）を予測し、画像領域と正規化3Dオブジェクト空間の対応を構築する。
• 予測された2D投影と3D正規化点の間の誤差を最小化することで、微分可能なProcrustes最適化を用いて9自由度（DoF）の剛体変換（並進と回転）を計算する。
• ノイズの多い対応に強いように、Procrustes最適化に学習可能な重みを組み込む。
• NOC予測と代理形状補完損失を用いて、検出されたオブジェクト特徴とCADモデル間の共同埋め込み空間を学習し、検索性能を向上させる。
• パイプライン全体をエンドツーエンドで訓練することで、検出、対応予測、姿勢推定、検索の同時最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 微分可能な2D-3D対応予測は、1枚のRGB画像からの3D CADモデルの姿勢整合精度を向上させることができるか？
• RQ2 3D正規化座標と対応予測から得られる幾何学的特徴を備えた埋め込みは、CAD検索性能を向上させることができるか？
• RQ3 検索と整合のエンドツーエンド同時最適化は、分離型アプローチに比べてより高い整合精度を達成できるか？
• RQ4 ノイズや不完全な2D-3D対応予測を含む現実世界のデータに対して、この手法はどれほど耐性があるか？
• RQ5 この手法は、インタラクティブなアプリケーションに適したリアルタイム推論速度を達成できるか？

主な発見

• ROCAは、ScanNet/Scan2CADベンチマークで17.6%の検索指向精度を達成し、以前のSOTA（9.5%）から顕著な向上を示した。
• 微分可能なProcrustes最適化により、クラスごとの整合精度が14.9%から19.4%に向上した。
• Procrustes最適化に学習可能な重みを追加することで、さらに精度が20.4%に向上した。
• NOCに基づく埋め込み空間を用いた学習による検索統合により、整合精度が21.5%に向上した。
• NOC予測にシミュレートされたガウスノイズを適用しても、σ=0.3でベースライン精度の90%を維持するという耐性を示した。
• 学習データを25kフレームから400kフレームにスケーリングすることで、整合精度が24.4%、検索指向整合精度が24.9%に向上し、データ効率の向上を示した。