[論文レビュー] Deformed Implicit Field: Modeling 3D Shapes with Learned Dense Correspondence

Yu Deng, Jiaolong Yang+1 more|arXiv (Cornell University)|Nov 27, 2020

3D Shape Modeling and Analysis参考文献 73被引用数 6

ひとこと要約

本稿では、カテゴリレベルの形状モデリングのため、共有テンプレート暗黙的フィールド、インスタンス固有の変形、補正フィールドを統合的に学習するニューラル3D形状表現であるDeformed Implicit Field (DIF) を提案する。DIF-Netは、法線の一貫性と滑らかさの損失を用いて教師なしでエンドツーエンドに学習され、チェアーやカーなど構造的に変動が大きい複雑な形状に対しても高精細な形状生成と密度の高い対応関係を実現し、優れたテクスチャ転送とスパarsa点編集を可能にする。

ABSTRACT

We propose a novel Deformed Implicit Field (DIF) representation for modeling 3D shapes of a category and generating dense correspondences among shapes. With DIF, a 3D shape is represented by a template implicit field shared across the category, together with a 3D deformation field and a correction field dedicated for each shape instance. Shape correspondences can be easily established using their deformation fields. Our neural network, dubbed DIF-Net, jointly learns a shape latent space and these fields for 3D objects belonging to a category without using any correspondence or part label. The learned DIF-Net can also provides reliable correspondence uncertainty measurement reflecting shape structure discrepancy. Experiments show that DIF-Net not only produces high-fidelity 3D shapes but also builds high-quality dense correspondences across different shapes. We also demonstrate several applications such as texture transfer and shape editing, where our method achieves compelling results that cannot be achieved by previous methods.

研究の動機と目的

• チェアーやカーのような顕著な幾何的・構造的変動を示すオブジェクトカテゴリにおいて、3D形状間の密度の高い対応関係を学習する課題に対処すること。
• 事前にアライメントされたトポロジーに依存するか、対応関係ラベルの教師付き学習を必要とする従来手法の限界を克服すること。
• パーツラベルや対応関係アノテーションを一切不要としながら、高精細な形状生成と信頼性の高い密度の高い対応関係学習を両立できる統合的暗黙的フィールド表現を開発すること。
• 学習された対応関係と潜在空間を活用して、テクスチャ転送や形状編集といった後続の応用を可能にすること。

提案手法

• 各3D形状を共有テンプレート暗黙的フィールドの変形および補正されたバージョンとして表現し、変形フィールドと補正フィールドをインスタンスごとに学習する。
• DIF-Netと呼ばれるニューラルネットワークを訓練し、入力として生の3D形状のみを用いて、テンプレートフィールド、変形フィールド、補正フィールドを同時に予測する。
• 対応関係の一貫性を確保するため、異なる形状間の対応点における法線のなす角度の差を最小化する法線一貫性損失を導入する。
• 変形フィールドに空間的滑らかさ正則化を適用することで、一般化性能と滑らかさを向上させる。
• 補正フィールドの大きさを制限し、グローバルな形状変形ではなく構造的変動の処理に限定する。
• 法線一貫性、変形滑らかさ、補正最小化を組み合わせたマルチコンポonent損失を用いて、教師なしの学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 教師なしで、顕著な構造的・幾何的変動を示すオブジェクトカテゴリの3D形状間で、密度の高い3D形状対応関係を深層ニューラルネットワークが学習可能か？
• RQ2 暗黙的フィールド表現を、統合的なフレームワーク内で形状生成と密度の高い対応関係学習の両方をサポートするように拡張できるか？
• RQ3 3D形状モデリングにおける教師なし対応関係学習の強力な代理信号として、対応点間の法線一貫性を用いることができるか？
• RQ4 構造的差異を有する形状間で、学習可能な補正フィールドが対応関係の正確性をどの程度向上させるか？
• RQ5 学習された潜在空間と対応関係は、スパarsa制御点を用いた高品質なテクスチャ転送と直感的な形状編集を可能にするか？

主な発見

• DIF-Netは、チェアーやカーなどのShapeNetカテゴリにおいて、ラベル転送の平均IoUが0.78を達成し、AtlasNet、DualSDF、SIFを大きく上回る、密度の高い対応関係学習の最先端性能を実現した。
• 質的結果から、複雑な幾何形状の正確な再構成が示され、最小限のアーチファクトで高精細な3D形状が生成されることを裏付けた。
• DIF-Netが生成する対応関係の不確実性マップは、構造的差異を信頼性高く反映しており、青（低不確実性）と赤（高不確実性）の領域が直感的に意味のある形状差異と一致している。
• テクスチャ転送の結果から、DIF-Netは豊富なテクスチャパターンを保持し、正しい意味的領域に転送できており、AtlasNet-v2 や ShapeFlow といったベースライン手法を上回った。
• 式 (18) を用いた編集により、1つまたは数個の制御点でのみ操作が可能であり、テンプレート空間での点の操作により新規構造の追加も可能である。
• アブレーションスタディの結果、法線一貫性損失、変形滑らかさ損失、補正フィールドを削除すると、対応関係の品質と形状表現の性能が顕著に低下することが確認された。