[論文レビュー] 3DN: 3D Deformation Network

Weiyue Wang, Duygu Ceylan+2 more|arXiv (Cornell University)|Mar 8, 2019

3D Shape Modeling and Analysis参考文献 36被引用数 10

ひとこと要約

3DNは、元のメッシュのトポロジーを保ちながら、頂点ごとの変位ベクトルを予測するエンドツーエンドのディーブラーニングフレームワークを提案する。微分可能メッシュサンプリング演算子を導入することで、メッシュ密度のばらつきに対応し、2D画像、3Dメッシュ、点群といった多様なターゲットにおいて、最先端の変形品質を達成する。

ABSTRACT

Applications in virtual and augmented reality create a demand for rapid creation and easy access to large sets of 3D models. An effective way to address this demand is to edit or deform existing 3D models based on a reference, e.g., a 2D image which is very easy to acquire. Given such a source 3D model and a target which can be a 2D image, 3D model, or a point cloud acquired as a depth scan, we introduce 3DN, an end-to-end network that deforms the source model to resemble the target. Our method infers per-vertex offset displacements while keeping the mesh connectivity of the source model fixed. We present a training strategy which uses a novel differentiable operation, mesh sampling operator, to generalize our method across source and target models with varying mesh densities. Mesh sampling operator can be seamlessly integrated into the network to handle meshes with different topologies. Qualitative and quantitative results show that our method generates higher quality results compared to the state-of-the art learning-based methods for 3D shape generation. Code is available at github.com/laughtervv/3DN.

研究の動機と目的

• 2D画像、3D点群、またはターゲットメッシュといった多様な入力から高品質な3Dメッシュ変形を生成する課題に対処すること。
• 固定されたメッシュトポロジーを仮定するか、ボクセルや点ベースの表現を用いる既存の学習ベースの手法の制限を克服すること。
• 対称性や表面の滑らかさといったグローバルな幾何的制約を活用することで、現実的でトポロジーを保存する変形を可能にすること。
• ソースおよびターゲットモデルにおける変動するメッシュ密度に対応できる微分可能メッシュサンプリング演算子を開発すること。
• チャモア距離とエアス・モーヴァー距離のような微分可能損失を用いて、教師なしでネットワークを訓練すること。

提案手法

• ソースメッシュとターゲット入力（2D画像、3Dメッシュ、または点群）から特徴を抽出するためのグローバル特徴エンコーダを用いる。
• 各ソースメッシュ頂点の3次元変位ベクトルを予測するための学習可能なオフセットデコーダを採用する。
• 頂点特徴をメッシュ表面のサンプリング点に投影する微分可能メッシュサンプリング演算子を導入する。
• 変形されたソースメッシュとターゲットとの間の非教師付き損失（チャモア距離とエアス・モーヴァー距離）を、点群表現上で計算する。
• 補助損失として、対称性損失（対称構造の保存）、メッシュラプラシアン損失（表面滑らかさの維持）、局所的置換不変性損失（ロバストネス向上）を組み込む。
• デコーディング段階でグローバル特徴と頂点位置を統合することで、変形における空間的一致性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 教師付き頂点対応情報が不要な深層学習モデルは、高品質な3Dメッシュ変形を生成できるか？
• RQ2 ニューラルネットワークは、ソースおよびターゲットモデルにおける変動するメッシュ密度やトポロジーに対し、どのようにしてロバストに機能できるか？
• RQ3 教師ありペアデータが存在しない状況下で、チャモア距離やエアス・モーヴァー距離といった教師なし損失が、効果的なメッシュ変形をどのように誘導できるか？
• RQ4 対称性や表面滑らかさといった幾何的事前知識を、微分可能に表現することで、変形の現実性を向上させられるか？
• RQ5 本手法は、オンライン製品画像や部分的なRGBDスキャンといった実世界の入力に対し、どの程度一般化できるか？

主な発見

• 3DNは、ShapeNetのレンダリング済み画像において最先端の性能を達成し、チャモア距離が4.50（×1000）、EMDが2.06（×0.01）、IoUが41.0%を記録した。
• 対称性損失を除去すると、チャモア距離は4.78に上昇し、IoUは36.7%に低下し、対称形状生成におけるその重要性が示された。
• メッシュラプラシアン損失は滑らかな変形を促進する。この損失を除去すると、EMDは2.08に、CDは4.55に上昇した。
• 局所的置換不変性損失はロバストネスを向上させる。この損失を除去すると、CDは5.31に、EMDは2.96に上昇した。
• ミドルレイヤー特徴の統合は収束を悪化させる。CDは6.63に、EMDは3.03に上昇し、トレーニング安定性に悪影響を与えた。
• 本モデルは、合成データでのみ学習されたにもかかわらず、実際の製品画像や部分的なスキャンに対し、良好な一般化性能を示した。定量的評価でもAtlasNetやPixel2Meshを上回った。