[論文レビュー] Mesh-based Autoencoders for Localized Deformation Component Analysis

Qingyang Tan, Lin Gao+3 more|arXiv (Cornell University)|Sep 13, 2017

3D Shape Modeling and Analysis参考文献 42被引用数 4

ひとこと要約

本稿では、不規則なトポロジー、大規模な変形、ノイズを含む3次元メッシュデータセットから、解釈可能で局所化された変形成分を抽出するため、スパース正則化を施したメッシュベースのCNNオートエンコーダーを提案する。潜在空間におけるスパースネス制約とメッシュ畳み込みを組み合わせることで、非線形な再構成が可能となり、複数のベンチマークデータセットにおいて、定性的および定量的な評価で最先端の手法を上回る性能を発揮する。

ABSTRACT

Spatially localized deformation components are very useful for shape analysis and synthesis in 3D geometry processing. Several methods have recently been developed, with an aim to extract intuitive and interpretable deformation components. However, these techniques suffer from fundamental limitations especially for meshes with noise or large-scale deformations, and may not always be able to identify important deformation components. In this paper we propose a novel mesh-based autoencoder architecture that is able to cope with meshes with irregular topology. We introduce sparse regularization in this framework, which along with convolutional operations, helps localize deformations. Our framework is capable of extracting localized deformation components from mesh data sets with large-scale deformations and is robust to noise. It also provides a nonlinear approach to reconstruction of meshes using the extracted basis, which is more effective than the current linear combination approach. Extensive experiments show that our method outperforms state-of-the-art methods in both qualitative and quantitative evaluations.

研究の動機と目的

• 既存手法が不規則なトポロジー、ノイズ、大規模な変形を伴う3次元メッシュから局所的で解釈可能な変形成分を抽出する点で抱える限界を克服すること。
• 未観測のメッシュデータに一般化できる深層学習フレームワークを構築し、局所化された成分を通じて直感的な形状合成を可能にすること。
• PCAのグローバル性と、従来のスパース変形手法のノイズや大規模な回転に敏感な点を克服すること。
• 高精度なメッシュ再構成のための線形変形基底の組み合わせの代わりに、非線形でデータ駆動型の代替手法を提供すること。

提案手法

• 任意の接続性を持つ3次元メッシュを処理できるように、1リング近傍における頂点単位の畳み込み演算を用いたCNNベースのオートエンコーダー・アーキテクチャを設計した。
• メッシュ畳み込みを層間にわたって適用し、幾何的構造を保持するとともに、非線形表現により大規模な変形をサポートした。
• エンコーダーの全結合層にスパース正則化を導入し、潜在空間における局所的かつコン act な変形成分を促進した。
• オートエンコーダー構造により、非線形マッピングを通じて高品質なメッシュ変形の再構成に適した学習済み成分が得られるようにした。
• 2段階の損失関数を採用：再構成精度を保証する再構成損失と、局所化を促進するスパースネス損失。両者を調整するハイパーパrameter $\lambda_1$ と $\lambda_2$ を用いた。
• 未学習データの再構成性能を評価するため、ボロノイサンプリングにより制御点を選定し、誤差指標を用いて手法を比較した。

実験結果

リサーチクエスチョン

• RQ1 メッシュ畳み込みとスパース正則化を備えた深層オートエンコーダーは、不規則なトポロジーと大規模な変形を伴う3次元メッシュから、局所的で解釈可能な変形成分を抽出できるか？
• RQ2 ノイズへの耐性と再構成精度の観点から、本手法は最先端技術と比較してどのように優れているか？
• RQ3 抽出された変形成分を効果的に組み合わせることで、新規で現実的である3次元形状を合成できるか？
• RQ4 オートエンコーダーの非線形再構成能力は、線形基底の組み合わせに比べて形状の詳細をより良く保持できるか？

主な発見

• 提案手法は、Scapeデータセットにおいて、デフォルトのハイパーパrameter設定下で13.556のRMS誤差を達成し、すべてのベースラインを上回る再構成誤差を示した。
• 顕著なノイズを含むフラッグデータセットでは、本手法は大規模なフラッグの揺れを的確に捉え、局所的なリップルを分離できた。一方、( ? ) はコーナー付近でのノイズのみを捉えていた。
• 合成タスクでは、Scape、Swing、Jumpingデータセットからの成分を組み合わせることで、収縮や非合理的な増幅などの最小限のアーチファクトを伴いながらも、現実的な形状を生成した。
• JumpingおよびSwingデータセットにおける頭部の振動や腕の挙上運動では、本手法は運動の方向を正しく特定したが、( ? ) は誤ったまたは歪んだ結果を出力した。
• 本手法は、異なるハイパーパラメータ設定においても一貫した性能を維持し、未学習のScapeデータに対して、$\lambda_1=0.6, \lambda_2=0.6$ で13.6429の最小誤差を記録した。
• 視覚的比較により、抽出された成分が空間的に局所化されており、脚や腕を上げるなどの意味のある解剖的運動に対応していることが確認され、解釈可能性が裏付けられた。