[論文レビュー] Latent feature disentanglement for 3D meshes

Jake Levinson, Avneesh Sud+1 more|arXiv (Cornell University)|Jun 7, 2019

3D Shape Modeling and Analysis参考文献 57被引用数 4

ひとこと要約

本論文は、メッシュ畳み込み型変分オートエンコーダを用いた教師あり生成的3Dメッシュモデルを提案し、潜在空間において形状とポーズ要因を明示的に分離する。制御された変動を伴う合成および実データセット上で訓練することで、タスク特化型の微調整なしに、分離された生成、ポーズおよび形状の転送、時間的同期、ポーズ不変マッチングにおいて、ベースラインモデルを上回る性能を達成する。

ABSTRACT

Generative modeling of 3D shapes has become an important problem due to its relevance to many applications across Computer Vision, Graphics, and VR. In this paper we build upon recently introduced 3D mesh-convolutional Variational AutoEncoders which have shown great promise for learning rich representations of deformable 3D shapes. We introduce a supervised generative 3D mesh model that disentangles the latent shape representation into independent generative factors. Our extensive experimental analysis shows that learning an explicitly disentangled representation can both improve random shape generation as well as successfully address downstream tasks such as pose and shape transfer, shape-invariant temporal synchronization, and pose-invariant shape matching.

研究の動機と目的

• 形状およびポーズ要因の分離された表現を学習する生成的3Dメッシュモデルの開発。
• 潜在空間における生成要因の明示的分離を通じて、ユーザー制御による形状操作の実現。
• 分離された表現を用いて、ポーズ転送、時間的同期、形状マッチングなどの下流タスクの性能向上。
• 教師あり分離手法の限界を克服するため、訓練中に生成要因に明示的な監視を導入。
• 歪みに敏感な損失関数と改善された潜在空間サンプリングを用いて、形状生成の現実性と頑健性の向上。

提案手法

• 形状およびポーズの制御された変動を伴う大規模データセットを用い、合成および実3Dメッシュ上でメッシュ畳み込み型VAEを訓練。
• 特定の潜在要因を観察可能な形状およびポーズの変動に関連付けるために、訓練中に明示的な監視を適用。
• 生成メッシュの幾何的現実性を向上させるために、歪みに敏感な損失項を組み込む。
• 過パrameter化の緩和と潜在空間の効率性向上を目的として、代替的な潜在空間サンプリング戦略を採用。
• 異なるソースメッシュ（例：1つから形状、もう1つからポーズ）の分離された潜在属性を組み合わせることで、分離された生成を実現。
• 時間的同期のために、潜在ポーズ符号化間のL²距離を用いた動的時間ワープ（DTW）を適用。

実験結果

リサーチクエスチョン

• RQ1 生成要因に対する明示的監視は、教師なし手法と比較して3Dメッシュ生成におけるより良い分離をもたらすか？
• RQ2 分離された潜在表現は、ポーズおよび形状の転送などの下流タスクの性能を向上させるか？
• RQ3 分離された潜在空間は、非同期なモーショングレースの時間的同期に有効に機能するか？
• RQ4 分離は、ポーズ不変の形状マッチングおよび認識にどのように影響するか？
• RQ5 分離は、形状生成における一般化および頑健性をどの程度向上させるか？

主な発見

• タスク特化型のファインチューニングなしに、直接訓練されたベースラインと比較して、ポーズおよび形状の転送において優れた性能を発揮。
• 形状符号化のみを用いて、トップ1で50%、トップ3で66%のメッシュを正しく識別する高い認識精度を達成。
• 潜在空間内挿により、意味的に意味のある現実的なポーズ遷移が得られ、直接の頂点空間内挿によるメッシュ歪みを回避。
• Faustデータセット上で、潜在ポーズ符号化距離を用いたDTWにより、非同期なモーションシーケンスの同期に成功。
• 一部の訓練モードでは潜在空間が混合するが、主なモデルは訓練および推論の両方で一貫した分離を達成。
• 同様のアーキテクチャと容量を持つヴァナイルVAEと比較して、分離された表現の有効性を裏付ける形で、より優れた性能を達成。