[論文レビュー] Scan2CAD: Learning CAD Model Alignment in RGB-D Scans

Armen Avetisyan, Manuel Dahnert+4 more|arXiv (Cornell University)|Nov 27, 2018

3D Surveying and Cultural Heritage参考文献 39被引用数 22

ひとこと要約

本稿では、3次元CNNを用いて2次元対応ヒートマップを予測し、変分的エネルギー最小化により9自由度のポーズを最適化することで、ノイズが多く不完全なRGB-Dスキャンに3次元CADモデルをアライメントする深層学習手法であるScan2CADを提案する。本手法は、14,225体のCADモデルとScanNetスキャンからなる97,607組のアノテート済みキーポイントを含む新ベンチマークにおいて、最先端手法より21.39%の性能向上を達成した。

ABSTRACT

We present Scan2CAD, a novel data-driven method that learns to align clean 3D CAD models from a shape database to the noisy and incomplete geometry of a commodity RGB-D scan. For a 3D reconstruction of an indoor scene, our method takes as input a set of CAD models, and predicts a 9DoF pose that aligns each model to the underlying scan geometry. To tackle this problem, we create a new scan-to-CAD alignment dataset based on 1506 ScanNet scans with 97607 annotated keypoint pairs between 14225 CAD models from ShapeNet and their counterpart objects in the scans. Our method selects a set of representative keypoints in a 3D scan for which we find correspondences to the CAD geometry. To this end, we design a novel 3D CNN architecture that learns a joint embedding between real and synthetic objects, and from this predicts a correspondence heatmap. Based on these correspondence heatmaps, we formulate a variational energy minimization that aligns a given set of CAD models to the reconstruction. We evaluate our approach on our newly introduced Scan2CAD benchmark where we outperform both handcrafted feature descriptor as well as state-of-the-art CNN based methods by 21.39%.

研究の動機と目的

• 屋内シーンにおけるノイズが多く不完全なRGB-Dスキャンに、綺麗で完全なCADモデルをアライメントする課題に取り組む。
• 実スキャンと合成CADモデルの間のドメインシフトのため、手作業で設計された幾何的特徴や初期の学習ベース手法に起因する制限を克服する。
• 実スキャンの幾何と合成CADの幾何の間の分布ギャップをカバーするデータ駆動型手法を構築する。
• トレーニングとベンチマークのためのトレーニングを可能にする大規模かつ高品質なデータセットを構築する。
• 生のRGB-Dスキャンから綺麗で完全な3次元シーンを再構築するため、CADモデルの正確で頑健な9自由度ポーズ推定を実現する。

提案手法

• 実スキャンの幾何と合成CADモデルの間の連携埋め込みを学習する新しい3次元CNNアーキテクチャを提案し、対応ヒートマップを予測する。
• ShapeNetから得た14,225体のCADモデルと1,506体のScanNetスキャン間の97,607組のキーポイント対応を含む新データセットでネットワークをトレーニングする。
• 予測されたヒートマップのピークとスキャンのキーポイントの距離を最小化することでCADモデルをアライメントする、変分的エネルギー最小化の目的関数を定式化する。
• 予測された対応ヒートマップを監視として用いて、9自由度のポーズ（3次元並進と3次元回転）を最適化する。
• 対称性、スケール、対応点（CP）の事前知識を最適化に統合し、頑健性と精度を向上させる。
• 微分可能レンダリングと最適化パイプラインを用いて、対応予測とポーズ精錬をエンドツーエンドでトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 ドメインシフトが存在するにもかかわらず、深層学習モデルが実RGB-Dスキャンと合成CADモデルの間で信頼性の高い対応を効果的に予測できるか？
• RQ2 合成と実の幾何を組み合わせてトレーニングされた連携埋め込みネットワークは、手作業特徴と比較して、対応予測をどのように向上させるか？
• RQ3 学習されたヒートマップを用いた変分的エネルギー最小化は、ノイズが多く不完全なスキャンにおいて、従来のICPや特徴ベースアライメントをどの程度上回るか？
• RQ4 対称性、スケール、対応点といった幾何的事前知識の導入が、CADモデルアライメントの頑健性と精度に与える影響はいかほどか？
• RQ5 本手法は、真値のCADモデルが提供されない非制約的環境にも一般化可能か？

主な発見

• 提案手法はScan2CADベンチマークで平均31.68%の精度を達成し、以前の最先端手法（3DMatch）を21.39%上回った。
• 対称性、スケール、対応点の全事前知識を適用した場合、ソファでは70.63%、椅子では60.00%の精度を達成し、複雑で対称的な物体に対しても優れた性能を示した。
• 非制約的環境への一般化性も良好である：ShapeNetからランダムに選択した400体のCADモデルを入力とした場合、平均35.64%の精度を達成し、真値モデルの検索なしでも頑健であることが示された。
• アブレーションスタディにより、対称性、スケール、対応点の事前知識を追加することで性能が顕著に向上することが確認され、全設定で35.64%の平均精度を達成した。
• 3次元CNNベースの対応予測は、手作業特徴（FPFH、SHOT）や3DMatchのような学習済み手法を上回り、特に低テクスチャまたは不完全な物体において顕著な優位性を示した。
• 最適化中に予測対応の1/3しか固定しない状況でも、本手法は最先端の結果を達成しており、ヒートマップ予測の高い信頼性を示している。