[論文レビュー] Parsing Geometry Using Structure-Aware Shape Templates

Vignesh Ganapathi‐Subramanian, Olga Diamanti+4 more|arXiv (Cornell University)|Aug 3, 2018

3D Shape Modeling and Analysis参考文献 31被引用数 4

ひとこと要約

本論文は、手作業で作成されたパラメトリックなボックスベースのテンプレートを用いて、部分的なRGB-Dスキャンからオブジェクトの構造を推定する構造に配慮した形状テンプレートフレームワークを提案する。部分スキャンをテンプレートにマッチングするように深層ニューラルネットワークを訓練することで、本手法は外部の教師信号を一切不要とせずに、高精度なパーツラベリング、完全なメッシュ再構築、シーンの完成を実現し、最先端の手法を上回る忠実度と意味的整合性を達成する。

ABSTRACT

Real-life man-made objects often exhibit strong and easily-identifiable structure, as a direct result of their design or their intended functionality. Structure typically appears in the form of individual parts and their arrangement. Knowing about object structure can be an important cue for object recognition and scene understanding - a key goal for various AR and robotics applications. However, commodity RGB-D sensors used in these scenarios only produce raw, unorganized point clouds, without structural information about the captured scene. Moreover, the generated data is commonly partial and susceptible to artifacts and noise, which makes inferring the structure of scanned objects challenging. In this paper, we organize large shape collections into parameterized shape templates to capture the underlying structure of the objects. The templates allow us to transfer the structural information onto new objects and incomplete scans. We employ a deep neural network that matches the partial scan with one of the shape templates, then match and fit it to complete and detailed models from the collection. This allows us to faithfully label its parts and to guide the reconstruction of the scanned object. We showcase the effectiveness of our method by comparing it to other state-of-the-art approaches.

研究の動機と目的

• 市販のRGB-Dセンサから得られる部分的でノイズが多く、構造のない3次元スキャンにおける構造的組織の推定という課題に取り組むこと。
• 大規模な形状コレクションから得られる構造的事前知識を活用することで、不完全なスキャンにおいてもロバストなオブジェクト認識と意味的パーツラベリングを可能にすること。
• テンプレートベースのフィッティングと形状検索を用いて、部分スキャンから完全で詳細なCAD品質のメッシュを再構築すること。
• 外部の教師信号を一切必要としない軽量で汎用性の高いパイプラインを提供し、AR、ロボティクス、シーンモデリングの応用に適すること。

提案手法

• 本手法は、オブジェクトカテゴリ（例：いす、机）における構造的パターンを表現するため、軸に平行なボックスから構成される手作業で作成されたパラメトリックな形状テンプレートのライブラリを構築する。
• 幾何的特徴と空間的レイアウトに基づいて、部分スキャンを最も類似した構造的テンプレートにマッチングするように深層ニューラルネットワークを訓練する。
• 最良のフィットするテンプレートを、最新の非剛性登録法を用いて最適化し、入力スキャンに一致させることで、構造的および意味的情報を転送する。
• スキャン内の各点を、フィットしたテンプレート内の最も近いボックスに、最小距離に基づいて投影することで意味的パーツラベルを割り当てる。
• 対応する完全な形状をコレクションから検索し、それをフィットしたテンプレートおよびスキャンの幾何形状に合わせて変形することで、完全で高精度なメッシュを回復する。
• 構造的テンプレートに従って部分スキャンを完全なメッシュモデルに置き換えることで、エンドツーエンドのシーン完成を実現するパイプラインを提供する。

実験結果

リサーチクエスチョン

• RQ1 手作業で作成された抽象的な形状テンプレートは、大規模な形状コレクションから得た構造的知識を、未知の部分スキャンに効果的に転送できるか？
• RQ2 密度の高い教師信号を必要とせずに、深層ニューラルネットワークが部分スキャンを構造的テンプレートに正確に検出・マッチングできるか？
• RQ3 テンプレートベースのフィッティングは、弱教師ありまたはエンドツーエンド手法と比較して、不完全な3次元スキャンにおける意味的パーツラベリングの精度をどの程度向上できるか？
• RQ4 本手法は、幾何的および構造的忠実度を保持しながら、部分スキャンから完全で詳細なCAD品質のメッシュを再構築できるか？

主な発見

• 外部の教師信号を一切使用せず、5つの形状カテゴリで優れたパーツラベリング精度を達成し、学習に70%のラベル付きデータを用いる手法を上回った。
• 定性的な比較では、本手法のテンプレートベースのアプローチは、個々のボックスフィッティング（Sung et al.）やぼんやりとしたエンドツーエンドの完成（Dai et al.）と比較して、より現実的で構造的に整合性のあるパーツレイアウトを生成した。
• フィットしたテンプレートにより、各点が投影距離に基づいて最も近いボックスに割り当てられ、正解ラベルと高い一貫性を示した。
• パイプラインは、図10に示すように、シーン完成タスクにおいて部分スキャンを完全でメッシュ化されたCADモデルに置き換えることに成功し、ARやシーン編集ワークフローへの直接的な利用を可能にした。
• 特別にいすのフィッティングに最適化されたネットワーク（Tulsiani et al.）と比較しても、強制されたテンプレート制約のおかげで、より正確で構造的に妥当な完成が得られた。