[論文レビュー] Interactive 3D Modeling with a Generative Adversarial Network

Jerry Liu, Fisher Yu+1 more|arXiv (Cornell University)|Jun 16, 2017

Computer Graphics and Visualization Techniques参考文献 28被引用数 21

ひとこと要約

この論文では、3D生成対抗ネットワーク（GAN）を用いて、ユーザーが描いた粗いスケッチをリアルな詳細のある3D形状に変換する、新しいインタラクティブ3DモデリングシステムSNAPを紹介する。ユーザーが提供するボクセルグリッドをGANの潜在空間に投影することで、形状の類似性とリアリズムの両立を実現し、初心者ユーザーがシンプルなインターフェースで反復的にモデルを精錬できるようにする。

ABSTRACT

This paper proposes the idea of using a generative adversarial network (GAN) to assist a novice user in designing real-world shapes with a simple interface. The user edits a voxel grid with a painting interface (like Minecraft). Yet, at any time, he/she can execute a SNAP command, which projects the current voxel grid onto a latent shape manifold with a learned projection operator and then generates a similar, but more realistic, shape using a learned generator network. Then the user can edit the resulting shape and snap again until he/she is satisfied with the result. The main advantage of this approach is that the projection and generation operators assist novice users to create 3D models characteristic of a background distribution of object shapes, but without having to specify all the details. The core new research idea is to use a GAN to support this application. 3D GANs have previously been used for shape generation, interpolation, and completion, but never for interactive modeling. The new challenge for this application is to learn a projection operator that takes an arbitrary 3D voxel model and produces a latent vector on the shape manifold from which a similar and realistic shape can be generated. We develop algorithms for this and other steps of the SNAP processing pipeline and integrate them into a simple modeling tool. Experiments with these algorithms and tool suggest that GANs provide a promising approach to computer-assisted interactive modeling.

研究の動機と目的

• 初心者ユーザーがシンプルで直感的なインターフェースを用いてリアルな3Dモデルを作成できるようにする挑戦に応えること。
• GANの潜在空間の中間領域では非現実的な出力を生成するという限界を克服するため、リアリズムを保証する投影演算子を設計すること。
• 反復的編集とリアルタイムの精錬をサポートするインタラクティブなモデリングパイプラインに3D-GANを統合すること。
• GANベースの生成が、ユーザーのガイドに従い、形状を保持する3Dモデリングに効果的に応用可能であることを示すこと。
• 少なくとも120例の一貫した向き付けがなされた例を含む101の3Dオブジェクトクラスからなる新しいデータセットを提供すること。

提案手法

• 大規模で選別された3Dポリゴナルモデルのデータセットで学習された3D-GANを用い、リアルな形状の潜在多様体を学習する。
• 任意の3Dボクセル入力xをGANの潜在空間内の潜在ベクトルzにマップする、新しい投影演算子P(x)を提案し、形状の類似性とリアリズムの両方を最適化する。
• GANの識別器をリアリズムの指標とし、特徴空間をガイドとして用いることで、潜在空間における最適化により投影を実現する。
• SNAPコマンドはG(P(x))を適用し、ユーザーの編集を保持しつつリアリズムを向上させた、精錬されたリアルな形状x′を生成する。
• 後処理ステップとして、小さなボクセルコンポーネントの除去と、対称形状の反映を実施し、出力品質を向上させる。
• インターフェースでは、ボクセルペイント（追加/削除）とSNAPコマンドを交互に使用する反復的ワークフローを可能にする。

実験結果

リサーチクエスチョン

• RQ1 3D-GANは、粗いユーザーのスケッチをリアルな形状に変換することで、インタラクティブ3Dモデリングを効果的にガイドできるか？
• RQ2 ユーザー入力の類似性とGANによる生成リアリズムの両立を実現するための投影演算子は、どのように設計できるか？
• RQ3 GANベースのシステムは、最小限の入力で詳細なリアルな3Dモデルを、初心者ユーザーがどれほど効果的に作成できるか？
• RQ4 このようなシステムの失敗モードは何か。また、それらはトレーニングデータの制限や最適化のトレードオフとどのように関係しているか？
• RQ5 ユーザーの編集（例：スケールや特徴の変更）に適応しながら、スタイルの一貫性を維持できるか？

主な発見

• SNAPシステムは、入力と類似しただけでなく、現実世界のオブジェクトクラスを適切に反映するリアルな3Dモデルに、粗いボクセルスケッチを効果的に変換できた。
• ユーザーは反復的に編集とSNAP操作を繰り返し、各SNAP操作でリアリズムが向上しながらもユーザーの意図を保持することができた。これは、チェア、飛行機、テーブルの編集シーケンスで実証された。
• NVIDIA Tesla M40 GPU上で平均9秒のSNAP操作時間であり、現在の遅延を考慮しても実用性があることを示している。
• 投影演算子は、非現実的な出力を生じる中間領域を避けて、GAN多様体のリアリスティックな領域に効果的に入力をマップしていた。
• システムは、トレーニングデータの制限による非現実的な形状の生成や、ユーザーの意図から逸脱した追加（例：ソファに不要な脚を追加）といった失敗を示しており、リアリズムと類似性のトレードオフが顕在化している。
• 小さなコンポーネントの除去や対称性に基づく反射といった後処理ステップは、出力品質とリアリズムを顕著に向上させた。