[論文レビュー] Expressive Telepresence via Modular Codec Avatars

Hang Chu, Shugao Ma+3 more|arXiv (Cornell University)|Aug 26, 2020

Face recognition and analysis参考文献 23被引用数 5

ひとこと要約

本論文は、一括された顔モデリングの代わりに、複数のヘッドセットカメラからの入力を個別に処理し、適応的ブレンドを行う学習されたモジュラー表現を用いることで、ハイパーソフィスティケートで表現力豊かなVR会議用アバターを生成する新規手法、モジュラーコーデックアバター（MCA）を提案する。MCAは、従来のコーデックアバター（CA）と比較して顔の表現力と耐障害性を向上させ、実世界のデータセットにおいて最先端の性能を達成し、RMSEが低く（5.48 対 6.67）、微細な未学習の表情や視点の変化に対しても優れた対応を示す。

ABSTRACT

VR telepresence consists of interacting with another human in a virtual space represented by an avatar. Today most avatars are cartoon-like, but soon the technology will allow video-realistic ones. This paper aims in this direction and presents Modular Codec Avatars (MCA), a method to generate hyper-realistic faces driven by the cameras in the VR headset. MCA extends traditional Codec Avatars (CA) by replacing the holistic models with a learned modular representation. It is important to note that traditional person-specific CAs are learned from few training samples, and typically lack robustness as well as limited expressiveness when transferring facial expressions. MCAs solve these issues by learning a modulated adaptive blending of different facial components as well as an exemplar-based latent alignment. We demonstrate that MCA achieves improved expressiveness and robustness w.r.t to CA in a variety of real-world datasets and practical scenarios. Finally, we showcase new applications in VR telepresence enabled by the proposed model.

研究の動機と目的

• 本論文の目的は、現在の統合的コーデックアバター（CA）モデルを超えて、ビデオリアリスティックなVR会議用アバターの表現力と耐障害性を向上させることにある。
• CAの限られた学習データと剛体的な統合的モデリングによる、まれなまたは複雑な顔の表情の補間の限界を解決することにある。
• 少ない学習サンプルからも正確で一般化可能で、知覚的に自然な顔アニメーションを実現できる、モジュラーでデータ駆動のアプローチを開発することである。
• 本手法は、照明、ヘッドセットの位置、化粧、ハードウェアの差異といった実世界の変動に対しても対応できるようにすることを目的としている。

提案手法

• MCAは、CAの統合的エンコーダーを、各ヘッドセットカメラ画像を別々に処理するモジュラー・エンコーダーに置き換える。
• 各カメラ固有のコードは、モodulated adaptive blendingを用いて、完全な顔のコードとブレンド重みを推定する合成ネットワークに渡される。
• 合成ネットワークは、学習済みの部分ベクトルの上にソフトアテンション機構を用いて、異なる顔の部品からの寄与を動的に重みづけする。
• 時間的安定性と時間的整合性の向上のため、合成ネットワークで時空間畳み込みネットワークが使用される。
• 潜在的コードを異なる表情や視点間で一致させるために、エクジンプラベースの潜在的アライメント技術が用いられる。
• 最終的なアバターは、共有デコーダーを用いて、学習された重みに基づいて複数のカメラ固有の顔コードをブレンドした後に復元される。

実験結果

リサーチクエスチョン

• RQ1 限られた、非一様に分布した顔の表情データで学習された顔アニメーションモデルが、どのようにしてより高い表現力を達成できるか？
• RQ2 モジュラーなアーキテクチャは、照明、ヘッドセットの位置、外観の変化といった実世界の変動に対して、どの程度耐障害性を向上させられるか？
• RQ3 学習可能なブレンド機構は、固定または等重みブレンドを上回ることができるか？
• RQ4 表現品質と再構成精度の観点から、モジュラー設計は統合的モデリングと比べてどの程度優れているか？
• RQ5 顔の表現力と制御性が向上することで、どのような新しいVR会議応用が可能になるか？

主な発見

• MCAは、主な評価指標においてCAと比較して17.5％の相対的RMSE低減（5.48 対 6.67）を達成し、優れた再構成精度を示した。
• MCAは、目が半分閉じた状態で口を開けている、または目を閉じた状態で歯をのぞかせるといった微細で複雑かつ未学習の表情を、CAよりも顕著にうまく処理できた。
• アブレーションスタディの結果、ソフトアテンション、エンドツーエンド学習、潜在的コード次元の拡張が性能に不可欠であることが確認された。さらに、時間的畳み込みとスキップ接続が結果を改善した。
• MCAは、図6のマルチビュー描画による検証で、さまざまな視点で一貫性があり自然な顔の表情を生成した。
• モデルは、ランダムなモジュールシャッフルや目を強調する処理を可能にし、制御性の向上を示した。
• 失敗事例は、極端な非対称性や強い背景の光の閃光に限られ、ほとんどの実用的VR環境において耐障害性があることが示された。