[論文レビュー] Learning Implicit Fields for Generative Shape Modeling

Zhiqin Chen, Hao Zhang|arXiv (Cornell University)|Dec 6, 2018

3D Shape Modeling and Analysis参考文献 51被引用数 60

ひとこと要約

IM-NETを導入し、3D形状の暗黙場デコーダが自動エンコード、生成、補間、単一視点再構成で視覚品質を向上させる。点を形状に対する内/外を予測することで。

ABSTRACT

We advocate the use of implicit fields for learning generative models of shapes and introduce an implicit field decoder, called IM-NET, for shape generation, aimed at improving the visual quality of the generated shapes. An implicit field assigns a value to each point in 3D space, so that a shape can be extracted as an iso-surface. IM-NET is trained to perform this assignment by means of a binary classifier. Specifically, it takes a point coordinate, along with a feature vector encoding a shape, and outputs a value which indicates whether the point is outside the shape or not. By replacing conventional decoders by our implicit decoder for representation learning (via IM-AE) and shape generation (via IM-GAN), we demonstrate superior results for tasks such as generative shape modeling, interpolation, and single-view 3D reconstruction, particularly in terms of visual quality. Code and supplementary material are available at https://github.com/czq142857/implicit-decoder.

研究の動機と目的

• ボクセルベースのデコーダよりも生成的な3D形状の優れた表現として、暗黙場を動機づける。
• 形状特徴を与えられた空間点の内側/外側の状態を予測する、単純な暗黙場デコーダ(IM-NET)を開発する。
• IM-NETをオートエンコーダ、GAN、SVRパイプラインで実証し、表面品質とトポロジー処理を改善する。
• 暗黙場は高解像度のサンプリングと、トレーニング解像度を超えるより滑らかな補間を可能にすることを示す。

提案手法

• 形状に対する内側/外側の状態に基づいて、空間内の点 p に0/1を割り当てる暗黙場 F(p) を定義する。
• F を、3D点 p と形状特徴ベクトルを受け取る MLP fθ にパラメータ化し、重み付きMSE損失を用いた二値分類器として学習する。
• ボクセル化した形状 (16^3 → 128^3) での段階的学習と、表面近傍で密度を考慮した重み w_p を用いて点を密にサンプリングする。
• 従来のデコーダを暗黙デコーダに置換して IM-AE と IM-GAN を形成することで、IM-NETを IM-AE と IM-GAN に埋め込む。
• IM-NET を 2D/3D 形状生成、オートエンコーディング、補間、単一視点の3D再構成に適用し、メッシュは Marching Cubes によって取得する。

実験結果

リサーチクエスチョン

• RQ1 3D形状タスクにおいて、暗黙場デコーダはボクセルベースのデコーダよりも表面品質とトポロジー処理を改善できるか？
• RQ2 IM-NET に点座標と形状特徴を組み込むことで、内側/外側の学習と境界品質にどのような影響があるか？
• RQ3 IM-AE と IM-GAN は複数カテゴリにわたるオートエンコード、生成、補間、単一視点再構成を改善するか？
• RQ4 IM-NET を用いる場合のトレーニング時間とサンプリング解像度のトレードオフはCNNベースのデコーダとどう異なるか？
• RQ5 IM-NET を2D形状や高品質な表面を持つSVRへ効果的に拡張できるか？

主な発見

• IM-NET はCNNベースのデコーダよりも高い視覚品質の表面と境界の定義を提供する。
• 暗黙場は任意の解像度でサンプリングを可能にし、トレーニング解像度を超えるよりシャープなメッシュを生成する。
• IM-GANとIM-AE は形状生成と補間においてベースラインを上回り、より滑らかなトポロジー変化を実現する。
• 3Dおよび2Dドメインを横断して、IM-GAN/IM-AE は視覚的指標と定性的結果で競争力があるか、特に表面品質で優れる。
• IM-SVR を用いた単一視点再構成は、最先端SVR手法と比べて表面忠実度が向上する場合がある。