[論文レビュー] Mask2CAD: 3D Shape Prediction by Learning to Segment and Retrieve

Weicheng Kuo, Anelia Angelova+2 more|arXiv (Cornell University)|Jul 26, 2020

3D Shape Modeling and Analysis参考文献 41被引用数 6

ひとこと要約

Mask2CAD は、共有埋め込み空間内で物体を同時に検出するとともに、類似度の高い CAD モデルを検索することで、1枚の RGB イメージからの 3D 形状予測を実現するリtrievalベースの手法を提案する。Pix3D において最先端の性能（mIoU 0.613、Chamfer 距離 0.086）を達成し、再訓練なしに未学習の形状に対しても一般化可能であり、コンテンツ作成やドメイン変換に適した軽量で妥当な 3D 表現を提供する。

ABSTRACT

Object recognition has seen significant progress in the image domain, with focus primarily on 2D perception. We propose to leverage existing large-scale datasets of 3D models to understand the underlying 3D structure of objects seen in an image by constructing a CAD-based representation of the objects and their poses. We present Mask2CAD, which jointly detects objects in real-world images and for each detected object, optimizes for the most similar CAD model and its pose. We construct a joint embedding space between the detected regions of an image corresponding to an object and 3D CAD models, enabling retrieval of CAD models for an input RGB image. This produces a clean, lightweight representation of the objects in an image; this CAD-based representation ensures a valid, efficient shape representation for applications such as content creation or interactive scenarios, and makes a step towards understanding the transformation of real-world imagery to a synthetic domain. Experiments on real-world images from Pix3D demonstrate the advantage of our approach in comparison to state of the art. To facilitate future research, we additionally propose a new image-to-3D baseline on ScanNet which features larger shape diversity, real-world occlusions, and challenging image views.

研究の動機と目的

• 生成的 3D 再構成とは異なり、既存の CAD モデルデータベースを活用することで、1枚の RGB イメージからの正確な 3D 形状予測を可能にすること。
• 現実世界の画像を合成的でコンパクトかつ妥当な CAD ベースの表現に変換することで、現実世界から合成世界へのドメインギャップを埋めること。
• CAD モデルライブラリの拡充のみで、再トレーニングなしにテスト時に未学習の 3D 形状に対しても一般化可能な手法を開発すること。
• コンテンツ作成、ロボット工学、ミックスドリアルティなどの実用的応用を支援するため、綺麗で軽量な 3D 物体表現を生成すること。
• 実世界の多様な課題を伴うスケールの大きなデータセット（例：ScanNet）を用いた、単一画像 3D 再構成のための新しいベンチマークを確立すること。

提案手法

• 対応する画像領域と CAD モデルを近づけ、非対応ペairを遠ざけるために、トリプレット損失を用いて画像-CAD の統合埋め込み空間を構築する。
• 2次元物体検出（バウンディングボックス、セグメンテーションマスク）と 3D 形状リトリーブ、ポーズの最適化を同時に実行する微分可能でエンドツーエンドのフレームワークを採用する。
• オブジェクトの回転と中心位置を回帰するポーズ予測ブランチを採用し、取得した CAD モデルを画像領域に正確にアライメント可能にする。
• 大規模データセット（例：ShapeNet）から得た事前学習済みの CAD モデルを形状の事前分布として活用し、生成的 3D 再構成で一般的なノイズやアーチファクトを回避する。
• トレーニング段階で、HSVカラーのジャイタリング、ROI ジャイタリング、画像スケールのジャイタリングなどのデータ拡張技術を適用し、耐障害性を向上させる。
• 推論段階では、共有埋め込み空間内でのコサイン類似度を用いて、各検出されたオブジェクト領域に対して最も類似した CAD モデルを検索する。

実験結果

リサーチクエスチョン

• RQ1 事前に用意された CAD モデルを用いたリトリーブベースのアプローチは、形状の正確性と妥当性の観点から、生成的 3D 再構成手法を上回ることができるか？
• RQ2 再トレーニングやファインチューニングなしに、CAD ベースの手法がどれほど未学習の 3D 物体形状に対しても一般化できるか？
• RQ3 実世界の条件下でも、画像領域と意味的・幾何学的に類似した CAD モデルを、統合埋め込み空間がどれほど正確にアライメントできるか？
• RQ4 ScanNet のような複雑な遮蔽や困難な視点を伴う大規模で多様なデータセットに対しても、この手法はスケーラブルか？
• RQ5 軽量な CAD 表現の使用は、リアルタイムまたはインタラクティブなアプリケーションに適した推論効率を向上させるか？

主な発見

• Mask2CAD は Pix3D $σ_1$ テストスプリットで平均 mIoU 0.613、Chamfer 距離 0.086 を達成し、FroDO（mIoU 0.325） や MarrNet（mIoU 0.231） といった最先端手法を大きく上回った。
• 再トレーニングなしにテスト時に未学習の 3D 形状に対しても一般化可能であり、単に CAD モデルデータベースを拡充するだけで、強力なゼロショット一般化性能を示した。
• ScanNet データセットでは、平均 Mesh AP 8.4%、ソファでは最大 23.1% を達成し、遮蔽、多様な視点、照明の変化といった実世界の課題に対しても頑健であることが示された。
• 1枚の 640×640 イメージあたり約 60ms の推論時間で実行可能であり、リアルタイムアプリケーションに適している。
• トレーニング時に見られなかったオブジェクトを含むテスト画像に対しても、高い性能を維持しており、リトリーブベース戦略の有効性が裏付けられた。
• ノイズや過剰に滑らかになる現象が生成的アプローチで一般的に見られるのとは異なり、妥当でクリアな幾何学的形状を有する正確な 3D 再構成が可能となった。