[論文レビュー] Adversarial Generation of Continuous Implicit Shape Representations

Marian Kleineberg, Matthias Fey+1 more|arXiv (Cornell University)|Feb 2, 2020

3D Shape Modeling and Analysis参考文献 27被引用数 26

ひとこと要約

本稿では、符号付き距離関数（SDF）を用いて連続的な3次元形状を学習する生成対抗ネットワーク（GAN）を提案する。微分可能レンダリングを介して高解像度で閉じた出力を可能にする。点ベースの識別器に対して、ゼロ等高線に焦点を当てることを改善するための新しいリファインメント戦略を導入し、形状の詳細性と一般化性能を向上させ、ShapeNetにおいて複数の指標で最先端の性能を達成した。

ABSTRACT

This work presents a generative adversarial architecture for generating three-dimensional shapes based on signed distance representations. While the deep generation of shapes has been mostly tackled by voxel and surface point cloud approaches, our generator learns to approximate the signed distance for any point in space given prior latent information. Although structurally similar to generative point cloud approaches, this formulation can be evaluated with arbitrary point density during inference, leading to fine-grained details in generated outputs. Furthermore, we study the effects of using either progressively growing voxel- or point-processing networks as discriminators, and propose a refinement scheme to strengthen the generator's capabilities in modeling the zero iso-surface decision boundary of shapes. We train our approach on the ShapeNet benchmark dataset and validate, both quantitatively and qualitatively, its performance in generating realistic 3D shapes.

研究の動機と目的

• 離散的なボクセルやポイントクラウド手法の限界を克服し、符号付き距離関数（SDF）を暗黙的表現として用いるGANベースのフレームワークを構築すること。
• 暗黙的形状生成のための敵対的訓練において、ボクセルベースの識別器とポイント処理識別器の有効性を比較すること。
• 勾配情報に基づいて識別器の入力ポイントをリファインすることで、ジェネレータが形状の重要なゼロ等高線をよりよくモデリングできるようにすること。
• 連続的なSDF予測を通じて、細粒度の幾何的詳細を有する高解像度で一般化可能な3次元形状生成を達成すること。
• ShapeNet上で定量的にアプローチを検証し、生成された形状の質的多様性と現実性を示すこと。

提案手法

• ジェネレータは、スキップ接続を備えた深層順方向ネットワークを用い、128次元の潜在コードを3次元空間全体の連続的SDFにマップする。DeepSDFアーキテクチャに従う。
• 識別器は2つのバージョンで実装される：ボクセル入力用の3次元CNNと、プログレッシブグrowing訓練を施したポイントクラウド入力用のPointNetベースアーキテクチャ。
• リファインメント戦略では、SDF勾配を用いて表面付近に追加の点をサンプリングし、識別器がゼロ等高線に集中できるように改善する。
• 両方の識別器タイプにプログレッシブグrowingを適用し、低解像度（8³）から高解像度（64³）へ段階的に訓練することで、学習の安定化を図る。
• WGAN-GP損失とRMSProp最適化を用い、推論時には任意の点密度でSDF値を評価する。
• メッシュは、予測されたSDFからMarching Cubesを用いて再構築し、質的および定量的評価に用いる。

実験結果

リサーチクエスチョン

• RQ1 符号付き距離関数を暗黙的表現として用いることで、GANが連続的な3次元形状を効果的に生成できるか？
• RQ2 敵対的訓練における暗黙的形状生成の文脈で、ボクセルベースの識別器とポイント処理識別器のどちらがジェネレータを現実的なSDFに導く能力に優れているか？
• RQ3 勾配情報に基づいて識別器が使用するポイント集合をリファインすることで、ゼロ等高線のモデリングと全体的な形状品質が向上するか？
• RQ4 低解像度SDFで学習したモデルでも、高解像度出力に一般化できるか？
• RQ5 提案されたリファインメント戦略は、形状境界付近での分布的乖離を検出する識別器の能力をどの程度向上させるか？

主な発見

• 点ベースの識別器をリファインしたアプローチは、航空機カテゴリでJSD（0.072）とMMD-EMD（0.070）の最高スコアを記録し、ベースラインの点およびボクセル識別器を上回った。
• 椅子カテゴリでは、JSDが0.078、MMD-EMDが0.086を記録し、非リファインドベースラインと比較して一貫した改善が見られた。
• ボクセルベースの識別器も、椅子でJSD 0.076、航空機でJSD 0.093を達成し、低解像度から高解像度への一般化性能が優れていた。
• 潜在空間における線形補間により、滑らかで現実的な形状遷移が得られ、学習されたコード空間の連続性と分離性が確認された。
• 8³ボクセルで学習したモデルから128³の高解像度出力が得られたが、劣化は認められず、本手法が任意の点密度に一般化可能であることを示した。
• 従来のGANベースおよびオートエンコーダベースの手法と比較して、ShapeNetの両カテゴリでJSD、MMD、COVのすべての指標において、最先端または競争力のある性能を達成した。