[論文レビュー] Landmark Guided 4D Facial Expression Generation

Xin Lu, Zhengda Lu+2 more|arXiv (Cornell University)|Mar 11, 2026

Face recognition and analysis被引用数 0

ひとこと要約

直訳不要な技術的要約はそのまま保持しますが、全体の意図を日本語で要約します。

ABSTRACT

In this paper, we proposed a generative model that learns to synthesize the 4D facial expression with the neutral landmark. Existing works mainly focus on the generation of sequences guided by expression labels, speech, etc, while they are not robust to the change of different identities. Our LM-4DGAN utilizes neutral landmarks to guide the facial expression generation while adding an identity discriminator and a landmark autoencoder to the basic WGAN for achieving better identity robustness. Furthermore, we add a cross-attention mechanism to the existing displacement decoder which is suitable for the given identity.

研究の動機と目的

• 中立的なランドマークをガイドとして使用し、異なる個人に適合するロバストな4D表情生成を動機付ける。
• 中立ランドマークとノイズからランドマーク系列を生成する粗→細のGANベースのフレームワーク（LM-4DGAN）を開発する。
• アイデンティティ識別器と時間的一貫性識別器を組み込み、現実感とアイデンティティの堅牢性を向上させる。
• ランドマークの変位を密なメッシュ頂点の変位へ写像するクロスアテンションを用いた変位デコーダを導入する。
• CoMAデータセットで評価し、ランドマーク・メッシュ再構成精度をMotion3Dと比較する。

提案手法

• ランダムノイズと中立ランドマークから表情ランドマーク列を合成する粗→細のアーキテクチャ（LM-4DGAN）を構築する。
• 疎な3Dランドマーク変形をより良くモデル化するためのランドマークオートエンコーダを組み込む。
• 対応する損失を持つアイデンティティ識別器（D_iden）と時間的一貫性識別器（D_coh）を追加し、アイデンティティ忠実度と時間的一貫性を確保する。
• ランドマークの変位を密なメッシュ頂点変位へ変換する変位デコーダを適用し、中立ランドマークとのクロスアテンション機構を強化する。
• CoMAデータセットで訓練し、ランドマークとメッシュの頂点ごとの再構成誤差を評価する。Motion3Dと比較し、アブレーション（L_cohなし、L_idenなし、AEなし、attentionなし）を実施する。

実験結果

リサーチクエスチョン

• RQ1 中立ランドマークは、さまざまな個人にまたがる堅牢性を実現する4D表情生成をガイドできるか？
• RQ2 アイデンティティ識別器と時間的識別器を追加すると現実感とアイデンティティ忠実度が向上するか？
• RQ3 クロスアテンションベースの変位デコーダは基礎デコーダよりメッシュ再構成精度を改善するか？
• RQ4 提案手法LM-4DGANはランドマークとメッシュ再構成誤差の点で既存法（例：Motion3D）と比較してどうか？
• RQ5 モデルは中立ランドマークに導かれて可変長の4D表現を生成できるか？

主な発見

Metric/Component	Motion3D	ours	w/o L_coh	w/o L_iden	w/o AE	w/o atten
landmark	0.750	0.562	0.583	0.668	1.262	-
mesh	5.288	4.324	4.643	4.724	5.257	4.414

• 提案手法はCoMAデータセット上でMotion3Dと比較してランドマークとメッシュの各頂点再構成誤差が低い。
• アブレーションでは、時間的一貫性損失、アイデンティティ損失、オートエンコーダ、または注意機構を外すと性能が劣化し、AEを除去するとランドマーク誤差が0.562から1.262へ増加した。
• 全構成要素を備えたLM-4DGANは、アブレーションバリアントよりランドマークとメッシュの結果が良く、オートエンコーダ、識別器、クロスアテンションの有効性を示している。
• 定性的結果は、Motion3Dより異なる個人間でよりアイデンティティ一貫性の高い表情を示している。
• 中立ランドマークに導かれてLM-4DGANのレベルを連鎖させることで、可変長の4D表現を生成できる。