[論文レビュー] ComplementMe: Weakly-Supervised Component Suggestions for 3D Modeling

Minhyuk Sung, Hao Su+3 more|arXiv (Cornell University)|Aug 6, 2017

3D Shape Modeling and Analysis参考文献 36被引用数 9

ひとこと要約

ComplementMe は、部分的なアセンブリに対して補完的な 3D コンポONENT を提案する弱教師付きディープラーニングフレームワークを提案する。ラベルなしで一貫性のない部品リポジトリを用いて学習し、部品のセグメンテーションやラベルも不要である。対照的損失を用いて部品の埋め込みと検索を同時に学習し、妥当な補完の確率分布を予測するとともに、幾何からだけを用いて部品の配置を回帰する。最小限のユーザー入力で、新しいベンチマークにおいて最先端の手法を上回る性能を示した。

ABSTRACT

Assembly-based tools provide a powerful modeling paradigm for non-expert shape designers. However, choosing a component from a large shape repository and aligning it to a partial assembly can become a daunting task. In this paper we describe novel neural network architectures for suggesting complementary components and their placement for an incomplete 3D part assembly. Unlike most existing techniques, our networks are trained on unlabeled data obtained from public online repositories, and do not rely on consistent part segmentations or labels. Absence of labels poses a challenge in indexing the database of parts for the retrieval. We address it by jointly training embedding and retrieval networks, where the first indexes parts by mapping them to a low-dimensional feature space, and the second maps partial assemblies to appropriate complements. The combinatorial nature of part arrangements poses another challenge, since the retrieval network is not a function: several complements can be appropriate for the same input. Thus, instead of predicting a single output, we train our network to predict a probability distribution over the space of part embeddings. This allows our method to deal with ambiguities and naturally enables a UI that seamlessly integrates user preferences into the design process. We demonstrate that our method can be used to design complex shapes with minimal or no user input. To evaluate our approach we develop a novel benchmark for component suggestion systems demonstrating significant improvement over state-of-the-art techniques.

研究の動機と目的

• 部分的なアセンブリに対して補完的なコンポONENTを自動で提案することで、最小限のユーザー入力でインタラクティブな 3D モデリングを可能にすること。
• 大規模な形状リポジトリにおいて、一貫性のない部品ラベルやセグメンテーションが存在しない状況でのコンポONENT検索の課題に対処すること。
• 複数の妥当なコンポONENT補完の確率分布を予測することで、曖昧なデザイン選択をモデル化すること。
• アライメントやポーズの教師信号を必要とせず、新規部品の幾何からだけを用いて正確なコンポONENTの配置を予測すること。
• 現実的で弱教師付きな条件下で評価可能な、コンポONENT提案システムのための新規ベンチマークを開発すること。

提案手法

• 3D パーツを低次元の潜在空間にマップする埋め込みネットワークと、部分的アセンブリを関連する補完にマップする検索ネットワークを、正例と負例を用いたトリプルット損失で同時に学習する。
• 正しくない補完との間にマージンを確保するように対照的損失を用い、埋め込み空間内で検索の整合性を保証する。
• 検索出力をガウス混合モデルとしてモデル化し、妥当なコンポONENTの確率分布を予測することで、複数の解決策を提示可能にする。
• 別個の配置ネットワークを学習し、正規化された幾何からだけを用いて、補完的コンポONENTの 6D ポーズ（位置と方向）を回帰する。
• すべての形状を順序なし点群として表現することで、既存のモデリングパイプラインや多様な入力形式と互換性を保つ。
• オンラインリポジトリ（例：3D Warehouse）における自然な部品境界（連結成分やシーングラフから導出）を活用するが、一貫性のない場合やラベルなしの場合でも利用可能である。

実験結果

リサーチクエスチョン

• RQ1 意味的部品ラベルや一貫性のあるセグメンテーションがなくても、ラベルなしで一貫性のない部品リポジトリ上で効果的に学習可能なコンポONENT提案システムは構築可能か？
• RQ2 ニューラルネットワークは、固定された1つの出力ではなく、1つの部分的アセンブリに対して複数の妥当なコンポONENT補完をモデル化できるか？
• RQ3 ポーズやアライメントの教師信号を必要とせず、部品と部分的アセンブリの幾何からだけを用いて配置を予測できるか？
• RQ4 弱教師付き条件下で、提案手法は最先端の検索技術と比較して、精度と頑健性において優れているか？
• RQ5 このシステムは、最小限または全くユーザー入力なしで、複雑で整合性のあるアセンブリをどれほど生成できるか？

主な発見

• 提案手法は新規ベンチマークにおいて最先端の検索技術を上回り、弱教師付き条件下でコンポONENT提案の精度が顕著に向上した。
• 検索ネットワークはテストデータで平均配置誤差 0.12 を達成し、プレーンやギターなどのカテゴリでは最小で 0.02 の誤差を示しており、ポーズ予測の高精度を示している。
• モデルはカテゴリ間で良好に一般化しており、同様のカテゴリ（例：テーブル、いす、ソファ）の部品を組み合わせても妥当なアセンブリを生成でき、部品を異なる用途に再利用しても（例：テーブルの脚をいすのアームとして使用）問題なく動作する。
• 可視化による定性的な評価から、MVCNN よりも埋め込み空間の多様性が高く、外観の類似性を超えて機能的・構造的な適合性を捉えていることが示された。
• 最小限のユーザー入力で、段階的に複雑で整合性のあるアセンブリを生成でき、確率的出力により各ステップで複数の妥当なコンポONENTを提示できる。
• 重なったり浮遊したりするコンポONENTの失敗事例は、主に小さなまたは薄い構造的部品のモデリング不足に起因するが、最小限のユーザー操作で是正可能である。