[論文レビュー] SP-GAN: Sphere-Guided 3D Shape Generation and Manipulation

Ruihui Li, Xianzhi Li+2 more|arXiv (Cornell University)|Aug 10, 2021

3D Shape Modeling and Analysis参考文献 48被引用数 23

ひとこと要約

SP-GANは、ユニット球をグローバルな空間的事前分布として用い、各球面上の点に接続された潜在コードにより局所的な詳細を学習する、教師なし3D形状生成モデルを提案する。グローバルな形状モデリングと局所的な構造調整を分離することで、暗黙の密な対応を備えた高品質で多様な点群生成を実現し、部品アノテーションが不要な状態で部品認識型の操作（補間や編集）を可能にする。

ABSTRACT

We present SP-GAN, a new unsupervised sphere-guided generative model for direct synthesis of 3D shapes in the form of point clouds. Compared with existing models, SP-GAN is able to synthesize diverse and high-quality shapes with fine details and promote controllability for part-aware shape generation and manipulation, yet trainable without any parts annotations. In SP-GAN, we incorporate a global prior (uniform points on a sphere) to spatially guide the generative process and attach a local prior (a random latent code) to each sphere point to provide local details. The key insight in our design is to disentangle the complex 3D shape generation task into a global shape modeling and a local structure adjustment, to ease the learning process and enhance the shape generation quality. Also, our model forms an implicit dense correspondence between the sphere points and points in every generated shape, enabling various forms of structure-aware shape manipulations such as part editing, part-wise shape interpolation, and multi-shape part composition, etc., beyond the existing generative models. Experimental results, which include both visual and quantitative evaluations, demonstrate that our model is able to synthesize diverse point clouds with fine details and less noise, as compared with the state-of-the-art models.

研究の動機と目的

• 教師なしの枠組みで、細部が豊富で多様な3D形状を生成する課題に取り組む。
• 部品レベルの対応がなく、ノイズや詳細の忠実度に課題を抱える既存の点群GANの限界を克服する。
• 部品アノテーションを必要とせずに、部品ごとの補間や編集といった構造認識型の形状操作を可能にする。
• 3D形状生成をグローバルな形状モデリングと局所的な構造調整に分離することで、訓練の安定性と生成品質を向上させる。

提案手法

• 形状生成のための等方的初期化を提供するため、固定されたユニット球をグローバルな空間的事前分布として用いる。
• 各球面上の点にランダムな潜在コードを接続し、微細な構造的詳細のための局所的事前分布を提供する。
• 球面上の点とそれらに接続された潜在コードを組み合わせて事前潜在行列を構築し、生成器の入力とする。
• スタイル埋め込みと適応的インスタンス正規化を採用した生成器を設計し、潜在コードから点特徴への局所的スタイルの転送を実現する。
• 球面上の点と生成された形状の点との間の暗黙の密な対応を活用し、部品認識型の操作を可能にする。
• 形状構造と詳細の保持を目的に、敵対的損失と再構成損失を用いて教師なしでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 球体ベースの事前分布は、部品アノテーションが不要な状態で、教師なしの枠組みで高品質で多様な3D形状生成を可能にするか？
• RQ2 球面上の点と生成された形状の点との間の暗黙の密な対応は、どの程度部品認識型操作を支援できるか？
• RQ3 グローバルな形状モデリングと局所的な構造調整を分離することで、生成品質と詳細の忠実度はどの程度向上するか？
• RQ4 最先端の教師なしGANと比較して、ノイズが少なくより繊細な詳細を持つ形状を生成できるか？
• RQ5 訓練データが限られている状況でも、複雑な構造や細長い構造に対して、モデルの一般化性能はどの程度高いか？

主な発見

• SP-GANは、最先端の教師なしモデルと比較して、はるかに繊細な詳細と少ないノイズを有する多様で現実的な3D点群を生成する。
• ShapeNet-13ベンチマークにおいて、チャフレン距離が8.24に達し、形状再構成品質において従来手法を上回る。
• 図1に示すように、暗黙の密な対応により、部品ごとの補間や編集が成功裏に実現されている。
• 形状検索の結果から、生成された形状はトレーニングデータの形状と構造的に類似しているが、独自の局所的詳細を有しており、記憶の低減が示された。
• 限られたトレーニングデータでも高い性能を維持するが、複雑なまたは細長い構造はまだぼやけた印象を示すことがある。
• 生成された点群の後処理により、歪んだエッジや穴が生じる可能性があり、今後の研究で表面再構築の改善が求められる。