[論文レビュー] AlteredAvatar: Stylizing Dynamic 3D Avatars with Fast Style Adaptation

Thu Nguyen-Phuoc, Gabriel Schwartz+3 more|arXiv (Cornell University)|May 30, 2023

Human Motion and Animation被引用数 5

ひとこと要約

AlteredAvatarは、メタ学習フレームワークを導入することで、わずか数ステップの最適化で動的3Dアバターを新しいスタイルに高速かつ高精細にスタイル化することを可能にする。メタトレーニングにより最適なネットワーク初期化を学習することで、直接最適化に匹敵する品質を達成するとともに、テキストまたは画像プロンプトによる柔軟なスタイル制御を実現する。

ABSTRACT

This paper presents a method that can quickly adapt dynamic 3D avatars to arbitrary text descriptions of novel styles. Among existing approaches for avatar stylization, direct optimization methods can produce excellent results for arbitrary styles but they are unpleasantly slow. Furthermore, they require redoing the optimization process from scratch for every new input. Fast approximation methods using feed-forward networks trained on a large dataset of style images can generate results for new inputs quickly, but tend not to generalize well to novel styles and fall short in quality. We therefore investigate a new approach, AlteredAvatar, that combines those two approaches using the meta-learning framework. In the inner loop, the model learns to optimize to match a single target style well; while in the outer loop, the model learns to stylize efficiently across many styles. After training, AlteredAvatar learns an initialization that can quickly adapt within a small number of update steps to a novel style, which can be given using texts, a reference image, or a combination of both. We show that AlteredAvatar can achieve a good balance between speed, flexibility and quality, while maintaining consistency across a wide range of novel views and facial expressions.

研究の動機と目的

• 再トレーニングを必要とせずに、未観測の新しいスタイルに動的3Dアバターを迅速にスタイル化することを可能にすること。
• 直接最適化（遅い）とフィードフォワードネットワーク（一般化性と品質に劣る）の限界を克服し、3Dアバスタイリングに適した手法を提供すること。
• CLIPベースの特徴エンコーディングを用いて、テキスト記述、参照画像、または両方を用いた柔軟なスタイル制御を可能にすること。
• スタイリング中に表情や視点が変化しても、アイデンティティの保持と一貫性を維持すること。
• 下位のアバターレプレゼンテーションに追加パラメータを追加せずに、高精細なスタイル化を実現すること。

提案手法

• メタラーニングを活用して、数ステップの最適化で新しいスタイルに迅速に適応可能なネットワーク初期化を学習する。
• 二重ループ最適化フレームワークを採用：内側のループで1つのスタイルに最適化し、外側のループで多様なスタイルに一般化可能な初期化を学習する。
• テキストスタイル記述の符号化にCLIP特徴を活用し、入力テキストとターゲットスタイルの間で意味的整合性を確保する。
• CLIPベースのテキスト特徴と参照画像特徴を組み合わせることで、テキスト＋画像のハイブリッドスタイル制御を実現する。
• アイデンティティ損失（$\mathcal{L}_{\text{ID}}$）とスタイル損失（$\mathcal{L}_{\text{style}}$）を最適化中に適用し、アイデンティティの保持とスタイルの適用を両立する。
• 推論時、インstant Avatarネットワークのパラメータのわずかなサブセットのみをファインチューニングすることで、推論の効率性とスケーラビリティを維持する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングで得た初期化は、最小限の最適化ステップで、未踏のスタイルに動的3Dアバターを高速かつ高品質にスタイル化できるか？
• RQ2 CLIPベースのテキストエンコーディングは、画像のみの手法と比較して、意味的に整合性のあるスタイル化をどの程度効果的に支援できるか？
• RQ3 テキストと画像のプロンプトを組み合わせることで、アバスタイリングの柔軟性と表現力が向上するか？
• RQ4 直接最適化やフィードフォワードスタイリングネットワークと比較して、AlteredAvatarの品質と速度はどの程度か？
• RQ5 表情や視点が変化しても、AlteredAvatarはアイデンティティと一貫性をどの程度維持できるか？

主な発見

• AlteredAvatarはわずか50ステップの最適化で直接最適化に匹敵するスタイル化品質を達成し、著しく高速である。
• 特にマルチドメイン設定において、タスクミキシングやHyperDomainNetよりも一般化性能に優れている。
• CLIP特徴を用いることで、テキスト記述からの効果的なスタイル化が可能となり、意味的に一貫した結果が得られる。
• 異なる表情や視点に対してもスタイル化結果が一貫しており、アバターのアイデンティティが保持されている。
• 高い視覚的忠実度を維持しており、ベースライン手法で見られる表情の抑制や不自然なシャドーのアーティファクトを回避している。
• アイデンティティ保持のハイパーパrameter $\lambda_{\text{ID}}$ は、スタイル化の強度と元のアイデンティティ忠実度の間のトレードオフを効果的に制御している。