[論文レビュー] COALESCE: Component Assembly by Learning to Synthesize Connections

Kangxue Yin, Zhiqin Chen+4 more|arXiv (Cornell University)|Aug 5, 2020

3D Shape Modeling and Analysis参考文献 57被引用数 6

ひとこと要約

COALESCEは、幾何的・トポロジカルな不一致を示す部品同士の自然でトポロジカルに一貫したジョイントを合成するデータ駆動型の深層学習フレームワークを導入する。入力部品をエロージョン処理することで幾何的・トポロジカルな不一致を解消し、ジョイント合成ネットワークを用いて暗黙的表面フィールドを予測することで、COALESCEは質の高いシームレスなメッシュアセンブリを生成し、定性的および定量的評価の両面で先行手法を上回る性能を示す。

ABSTRACT

We introduce COALESCE, the first data-driven framework for component-based shape assembly which employs deep learning to synthesize part connections. To handle geometric and topological mismatches between parts, we remove the mismatched portions via erosion, and rely on a joint synthesis step, which is learned from data, to fill the gap and arrive at a natural and plausible part joint. Given a set of input parts extracted from different objects, COALESCE automatically aligns them and synthesizes plausible joints to connect the parts into a coherent 3D object represented by a mesh. The joint synthesis network, designed to focus on joint regions, reconstructs the surface between the parts by predicting an implicit shape representation that agrees with existing parts, while generating a smooth and topologically meaningful connection. We employ test-time optimization to further ensure that the synthesized joint region closely aligns with the input parts to create realistic component assemblies from diverse input parts. We demonstrate that our method significantly outperforms prior approaches including baseline deep models for 3D shape synthesis, as well as state-of-the-art methods for shape completion.

研究の動機と目的

• 幾何的・トポロジカルな不一致を示す異なるオブジェクトからの3D部品をシームレスに接続する課題に対処すること。
• コンポーネントベースの3Dモデリングにおける部品のアライメントおよびジョイント合成という低レベルで繰り返しの多い作業を自動化すること。
• ヒューリスティック的手法やユーザーによる調整に依存せず、多様な部品構成や形状に一般化可能な学習ベースの手法を開発すること。
• 完全な形状再構築ではなく、特定にジョイント合成に焦点を当てることで、既存の形状補完および穴埋め手法を改善すること。
• エンドツーエンドのニューラル合成により、関係のない部品から新たな一貫性のある3Dオブジェクトを生成することを可能にすること。

提案手法

• 入力部品は、ジョイント合成のための空間を確保するためにエロージョン処理により事前処理される。
• 部品アライメントネットワークは、部品を妥当な配置に一致させる変換を予測する。
• ジョイント合成ネットワークは、一致させた部品間の接続領域の暗黙的符号付き距離関数（SDF）表現を予測する。
• 暗黙的フィールドは、PointNet++エンコーダからの潜在コードを用いたU-Netに類似したデコーダによって生成され、入力部品と整合性を保つ。
• 暗黙的フィールドはメッシュに多角形化され、ポissonステッチングが適用されて合成されたジョイントを入力部品と滑らかに融合する。
• フレームワークは、ShapeNetから得たセグメンテーション済み3D形状のデータセット上で訓練され、ジョイントの幾何学的およびトポロジカル構造に監視が施される。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、幾何的・トポロジカルな不一致を示す3D部品間で現実的でトポロジカルに意味のあるジョイントを合成できるか？
• RQ2 ジョイント合成アプローチは、完全な形状再構築や穴埋めベースラインと比較して、品質および耐性面でどのように差をつけるか？
• RQ3 1つのカテゴリで学習したモデルが、未学習の部品構成や新規データセットにどの程度一般化できるか？
• RQ4 エロージョンに基づく事前処理は、部品の不一致や境界の不整合を処理するのにどの程度有効か？
• RQ5 潜在コードの連結や暗黙的フィールドモデリングといったアーキテクチャ的選択が、ジョイント合成性能に与える影響は何か？

主な発見

• COALESCEは、定性的および定量的評価の両面で、3D形状合成のベースラインとなる深層学習モデルおよび最先端の形状補完手法を顕著に上回る性能を示した。
• 入力部品のランダムなスケーリングおよび平行移動に対して強い耐性を示し、このような摂動下でも評価されたすべてのベースラインの中で最高の性能を発揮した。
• 再トレーニングなしでCOSEGのチェアデータセットへの一般化が達成されたことから、モデルは学習分布を越えて一般化可能なジョイントパターンを捉えていることが示された。
• 欠損部品の潜在コードをゼロベクトルに設定することで、アームレスのチェアや欠損したハンドルを含む新しい構成のジョイントを合成可能であった。
• 幾何的・トポロジカルな不一致がモデルの能力を超える場合、特に細い構造や深刻な不一致が生じる場合には失敗ケースが発生した。
• モデルの性能は、PointNet++エンコーダおよびIMデコーダの能力に制限されており、特に細部の部品や部品数の増加に対応する際には顕著に制限を受ける。