[論文レビュー] Multiscale Mesh Deformation Component Analysis with Attention-based Autoencoders

Jie Yang, Lin Gao+4 more|arXiv (Cornell University)|Dec 4, 2020

3D Shape Modeling and Analysis参考文献 70被引用数 6

ひとこと要約

本稿では、3次元メッシュ変形データセットからマルチスケールで局所化された変形成分を自動で抽出する、新しいスタック型アテンションベースのオートエンコーダーフレームワークを提案する。スケールに跨る活性な変形領域に注目するアテンション機構を用い、オートエンコーダーをスタックさせることで階層的な変形分解を実現することで、最先端の手法と比較して優れた再構成品質と歪みの低減を実現した粗〜細の形状編集が可能となる。

ABSTRACT

Deformation component analysis is a fundamental problem in geometry processing and shape understanding. Existing approaches mainly extract deformation components in local regions at a similar scale while deformations of real-world objects are usually distributed in a multi-scale manner. In this paper, we propose a novel method to exact multiscale deformation components automatically with a stacked attention-based autoencoder. The attention mechanism is designed to learn to softly weight multi-scale deformation components in active deformation regions, and the stacked attention-based autoencoder is learned to represent the deformation components at different scales. Quantitative and qualitative evaluations show that our method outperforms state-of-the-art methods. Furthermore, with the multiscale deformation components extracted by our method, the user can edit shapes in a coarse-to-fine fashion which facilitates effective modeling of new shapes.

研究の動機と目的

• 既存手法が単一スケールでの変形成分抽出に限られ、階層的な局所的変形を捉えられていないという制限に対処すること。
• 自動的に意味的意味を持つスケールに多様な変形成分を特定することで、粗〜細の形状編集を可能にすること。
• マルチスケール表現を活用することで、データ駆動型メッシュ編集における形状再構成の忠実度を向上させ、歪みを低減すること。
• アテンション機構をディープオートエンコーダー構造に統合し、変形パターンに対して動的で領域特化的な注目を可能にすること。
• 異なる空間スケールでの変形行動を分離することで、知覚的に一貫した編集を支援すること。

提案手法

• 各次のオートエンコーダーが直前のものの残差を処理するスタック型オートエンコーダー構造を採用し、変形の階層的分解を可能にする。
• メッシュ上の活性な変形領域を強調するソフトウェイトを学習するアテンション機構を導入し、その後続のオートエンコーダーが特定のサブ領域に注目できるようにする。
• 入力として、局所的およびグローバルな変形パターンを効果的に符号化する形状コンテキスト特徴を用いたメッシュベースの表現を採用する。
• 完全結合層に対してスパース正則化を適用することで、変形成分の局所化を強制し、過学習を防ぐ。
• 再構成損失を用いてエンドツーエンドに訓練することで、抽出された成分が元のメッシュ変形を忠実に再構成できることを保証する。
• アテンションマスクはトレーニング中に学習され、より深いオートエンコーダーの特徴抽出を条件づけることで、スケールに配慮した分解を実現する。

実験結果

リサーチクエスチョン

• RQ1 アテンションベースのディープオートエンコーダー構造は、3次元メッシュ変形データセットからマルチスケールで局所化された変形成分を効果的に抽出できるか？
• RQ2 アテンション機構の統合は、抽出された変形成分の局所化と意味的意味の明確化をどのように向上させるか？
• RQ3 スタック型オートエンコーダー構造は、単一スケールまたは非スタック型アプローチと比較して、グローバルおよびローカル変形の分解をどの程度向上させるか？
• RQ4 抽出された変形成分は、歪みを低減した直感的な粗〜細の形状編集を可能にするか？
• RQ5 本手法は、顔の表情や全身ポーズなど、多様な変形タイプに一般化できるか？

主な発見

• 定量的指標と定性的な視覚的評価の両面で、本手法は最先端の手法を上回り、特に手首のねじりや尾の湾曲といった微細スケールの変形を捉える点で優れている。
• 手首の回転や尾のねじりといった複雑な動作の編集において、唯一本手法がグローバル形状の歪みを伴わずに局所的詳細を保持できた。
• アブレーションスタディの結果、アテンション機構を除去するとマルチスケール構造が喪失し、より局所的で意味的ではない変形成分が得られることが判明した。
• SCAPEおよびHorseデータセットでの実験により、複数の変形スケールを含むケースにおいて、より優れた再構成品質と低い歪みを達成した。
• 抽出された成分は意味的意味を持ち、腕の挙上や手首の回転といった知覚的に明確に区別できる変形行動に対応している。
• 本フレームワークは、ユーザーがまず大規模な特徴を変更し、その後スケール固有の成分を用いて局所的詳細を精緻に修正できる、効果的な粗〜細編集を可能にする。