[論文レビュー] Kernel Projection of Latent Structures Regression for Facial Animation Retargeting

Christos Ouzounis, Alex Kilias+1 more|arXiv (Cornell University)|Jul 30, 2017

Human Motion and Animation参考文献 16被引用数 7

ひとこと要約

本論文では、顔の形状が異なるキャラクター間での顔面アニメーションリターゲティングを効率的に行うための、潜在構造のカーネル射影（KPLS）回帰手法を提案する。類似した意味的顔の表情を潜在空間に射影し、カーネル化された固有値問題を解くことで、動きデータのマッピングにおいて優れた正確性を達成し、Dutreveら（2008）の手法など従来手法と比較して類似度で61%の向上を示した。

ABSTRACT

Inspired by kernel methods that have been used extensively in achieving efficient facial animation retargeting, this paper presents a solution to retargeting facial animation in virtual character's face model based on the kernel projection of latent structure (KPLS) regression between semantically similar facial expressions. Specifically, a given number of corresponding semantically similar facial expressions are projected into the latent space. By using the Nonlinear Iterative Partial Least Square method, decomposition of the latent variables is achieved. Finally, the KPLS is achieved by solving a kernalized version of the eigenvalue problem. By evaluating our methodology with other kernel-based solutions, the efficiency of the presented methodology in transferring facial animation to face models with different morphological variations is demonstrated.

研究の動機と目的

• 顔の形状が異なる仮想キャラクターに、アクターの顔面アニメーションを転送する課題に対処すること。
• 顔の形状が著しく異なるモデル間で不十分または不適切なマッピングが生じるため失敗する低レベルの対応手法の限界を克服すること。
• ソース（アクター）とターゲット（仮想キャラクター）の顔モデル間で、顔の表情に強固な意味的対応関係を確立すること。
• カーネルベースの学習により顔の表情データに内在する非線形関係を活用することで、リターゲティングの正確性と安定性を向上させること。
• 多様な顔の形状にわたって表現の忠実度を維持する、自動リターゲティングのスケーラブルなソリューションを開発すること。

提案手法

• カーネル手法を用いて、ソースおよびターゲットの顔モデルから意味的に類似した顔の表情を共通の潜在空間に射影する。
• 非線形反復部分最小二乗法（NIPLS）を適用し、潜在変数を分解してデータ内の非線形関係を捉える。
• KPLS回帰を、表現空間間の複雑な非線形マッピングをモデル化するための固有値問題のカーネル化されたバージョンとして定式化する。
• 顔モデルの頂点位置をKPLSモデルの学習に使用する入力特徴量とすることで、データ駆動型の表情転送を可能にする。
• 逆方向リターゲティング（中間モデルから初期モデルへ）を実施し、学習されたマッピングの整合性と正確性を検証する。
• 全フレームおよび全頂点における平均頂点ずれ誤差に基づく損失関数を用いてマッピングを最適化する。

実験結果

リサーチクエスチョン

• RQ1 ソースとターゲットの顔モデルに顕著な形状的差異がある場合、顔の表情間の意味的対応関係をどのように効果的に確立できるか。
• RQ2 KPLSのようなカーネルベース手法は、従来の線形手法や非カーネル化された手法と比較して、顔面アニメーションリターゲティングの正確性と安定性をどの程度向上できるか。
• RQ3 KPLS回帰手法は、幾何学的形状が異なる複数の顔モデル間で、動きシーケンスのリターゲティングにおいても高精細な表現転送を維持できるか。
• RQ4 既存の最先端のカーネルベースリターゲティング技術と比較して、本手法は頂点ずれ誤差の観点から定量的にどの程度優れているか。
• RQ5 非線形潜在空間への射影が、リターゲティング中に顔の表情の意味的および動的特性をどの程度保持するか。

主な発見

• 提案手法のKPLSベースのアプローチは、頂点ずれ誤差を指標として測定したところ、Dutreveら（2008）の手法と比較して61%のリターゲティング類似度の向上を達成した。
• Dengら（2006）の手法と比較して26%の向上、Costiganら（2014）の手法と比較して20%の向上、Songら（2011）の手法と比較して14%の向上を示した。
• 1000フレームのランダムな顔面動きシーケンスを用いた評価により、本手法の複雑な動きシーケンスにおけるロバスト性と安定性が確認された。
• 中間モデル（男性顔）から初期モデル（赤ちゃん顔）への逆方向リターゲティングにより、一貫性があり正確な再構成が実現しており、本手法の双方向的信頼性が検証された。
• 非線形潜在空間モデリングのおかげで、顔の形状差が著しい場合でも、表情ペア間の意味的対応関係を効果的に維持している。
• 視覚的結果と定量的誤差指標の両方から、本手法が評価されたすべての手法の中で最も正確で視覚的に妥当なリターゲティング顔面アニメーションを生成することが確認された。