[論文レビュー] ShapeFormer: Transformer-based Shape Completion via Sparse Representation

Xingguang Yan, Liqiang Lin+4 more|arXiv (Cornell University)|Jan 25, 2022

3D Shape Modeling and Analysis被引用数 8

ひとこと要約

ShapeFormerは、不完全またはノイズのある点群から多様で高品質な3D形状補完を生成するトランスフォーマー基盤の生成モデルを導入する。本手法は、3D形状を短いシーケンスに圧縮できる新規なスパースで離散的な表現であるベクターライゼーション・ディープインパルシット関数（VQDIF）を用い、効率的な自己回帰的生成を可能にし、従来手法に比べて補完品質と多様性が向上する。

ABSTRACT

We present ShapeFormer, a transformer-based network that produces a distribution of object completions, conditioned on incomplete, and possibly noisy, point clouds. The resultant distribution can then be sampled to generate likely completions, each exhibiting plausible shape details while being faithful to the input. To facilitate the use of transformers for 3D, we introduce a compact 3D representation, vector quantized deep implicit function, that utilizes spatial sparsity to represent a close approximation of a 3D shape by a short sequence of discrete variables. Experiments demonstrate that ShapeFormer outperforms prior art for shape completion from ambiguous partial inputs in terms of both completion quality and diversity. We also show that our approach effectively handles a variety of shape types, incomplete patterns, and real-world scans.

研究の動機と目的

• 曖昧で不完全またはノイズの多い部分点群から複数の妥当な3D形状補完を生成する課題に対処すること。
• トランスフォーマーを効率的に使用できるようにするためのコンパクトで構造的な3D表現を開発すること。
• 単一の平均形状に回帰するのではなく、可能な補完の分布をモデル化することで、品質と多様性の両方を向上させること。
• 疎で離散的な特徴シーケンスから忠実で高解像度の表面再構築を可能にし、幾何的正確性を維持すること。

提案手法

• 空間的スパarsityとベクターライゼーションを用いて、位置と内容の2タプルからなる短いシーケンスとして形状を符号化する、スパースで離散的な3D表現であるベクターライゼーション・ディープインパルシット関数（VQDIF）を導入する。
• 部分入力点群をコンパクトな離散トークンのシーケンスに変換するVQDIFエンコーダを採用し、解像度の立方乗から平方乗にシーケンス長を短縮する。
• 部分入力シーケンスを条件として次のトークンを予測するトランスフォーマー基盤の自己回帰的モデルを用い、多様な補完の生成を可能にする。
• 部分入力から条件付き生成を可能にするために、部分シーケンスを完全な補完シーケンスの先頭に追加する自己回帰的学習目的を適応する。
• 生成された離散的シーケンスを元のディープインパルシット関数にデコードし、マーチィング・キューブスを用いて高品質な3D表面を抽出する。
• 将来のトークンを予測するように、マスク言語モデル風の目的関数を用いてエンドツーエンドでモデルを学習し、入力の忠実性を保ちつつ妥当な補完を生成する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のモデルは、曖昧な部分入力から多様で高品質な3D形状補完を効果的に生成できるか？
• RQ2 3D形状表現をどのようにしてコンパクトで離散的にして、トランスフォーマーによる効率的な自己回帰的モデリングを可能にするか？
• RQ3 提案されたVQDIF表現は、表現サイズを削減しながらも幾何的正確性をどの程度保持できるか？
• RQ4 多様な形状カテゴリーやスキャンタイプにおいて、ShapeFormerは従来手法に比べて補完品質と多様性の点でどのように優れているか？

主な発見

• ShapeFormerはPartNetにおいて最先端のパフォーマンスを達成し、従来のマルチモーダル手法cGANに比べてFPDスコアを最大1.7ポイント向上させた。
• VQDIF表現はIF-NetやConvONetと同等の再構築精度を達成しているが、使用するバイト数が著しく少ない。例えば16³解像度では平均でたった217トークンである。
• D-FAUSTデータセットでは、部分的入力に対しても人間の身体スキャンから多様でポーズ整合性のある補完を成功裏に生成した。特に未学習の身体タイプに対しても同様の性能を示した。
• モデルは未学習のカテゴリにも良好に一般化できる。カップやティーポットのクラスに対しては、それらのクラスで訓練されていないにもかかわらず妥当な補完を生成した。
• 視覚的比較により、生成された形状が入力点群と密接に一致しており、入力部分スキャンの忠実な再現が図られていることが示された。
• 推論速度は依然としてボトルネックであり、1形状あたり約20秒の生成時間を要しており、今後の作業で最適化の必要がある。