[論文レビュー] AlphaFace: High Fidelity and Real-time Face Swapper Robust to Facial Pose

Jongmin Yu, Hyeontaek Oh+4 more|arXiv (Cornell University)|Jan 23, 2026

Face recognition and analysis被引用数 0

ひとこと要約

AlphaFace は、 Vision-Language モデルの監視とクロス適応的アイデンティティ注入を用いたリアルタイムのフェイススワッピング手法で、極端な表情姿勢にも高い忠実度と頑健性を達成します。

ABSTRACT

Existing face-swapping methods often deliver competitive results in constrained settings but exhibit substantial quality degradation when handling extreme facial poses. To improve facial pose robustness, explicit geometric features are applied, but this approach remains problematic since it introduces additional dependencies and increases computational cost. Diffusion-based methods have achieved remarkable results; however, they are impractical for real-time processing. We introduce AlphaFace, which leverages an open-source vision-language model and CLIP image and text embeddings to apply novel visual and textual semantic contrastive losses. AlphaFace enables stronger identity representation and more precise attribute preservation, all while maintaining real-time performance. Comprehensive experiments across FF++, MPIE, and LPFF demonstrate that AlphaFace surpasses state-of-the-art methods in pose-challenging cases. The project is publicly available on `https://github.com/andrewyu90/Alphaface_Official.git'.

研究の動機と目的

• 大きなポーズ変化を超えた近前方ビューを超える、堅牢なフェイスアイデンティティスワップを動機付ける。
• ターゲット属性を保ちながらソースアイデンティティを忠実に転写するリアルタイムフレームワークを開発する。
• CLIP 画像/テキストエンコーダを用いたビジョン-言語モデル監視を活用し、訓練時の意味的ガイダンスを強化する。
• ソースアイデンティティをターゲット潜在特徴により適切に揃える新規アイデンティティ注入モジュールを導入する。

提案手法

• ソースアイデンティティエンコーダとして ArcFace を使用し、アイデンティティ特徴を抽出する。
• Cross-Adaptive Identity Injection (CAII) を導入し、AdaIN および残差接続を介してソースアイデンティティをターゲット潜在特徴と融合させる。
• アイデンティティスワップ損失、属性保持損失（Rec、Cycle、 perceptual）、敵対的損失、および CLIP-情報に基づくコントラスト損失（CLIP-text および CLIP-ID）を用いて訓練する。
• ビジョン-Language モデルでターゲット属性の記述を生成し、 CLIP の画像/テキスト対比損失を適用して意味的整合性を強制する。
• ジオメトリ priors や拡散を明示的に用いず、GAN/オートエンコーダ風のアーキテクチャを維持してリアルタイム推論を保つ。

実験結果

リサーチクエスチョン

• RQ1 AlphaFace は極端な頭部姿勢でのターゲット姿勢や表情を保持しつつ高いアイデンティティ忠実度を維持できるか？
• RQ2 VLM由来の意味的監視（CLIP-text および CLIP-ID）を統合することで姿勢の頑健性と境界の忠実度が向上するか？
• RQ3 提案された CAII ブロックは従来の一方向注入よりソースアイデンティティをターゲット潜在空間とより良く整列させるか？
• RQ4 標準ベンチマークでアイデンティティ保持、姿勢/表情の正確性、推論速度のトレードオフはどうなるか？
• RQ5 AlphaFace は拡散ベースおよび幾何 priors 手法と比較して、姿勢が多様なデータセットでどのように性能を示すか？

主な発見

Method	CSIM ↑	Pose err ↓	Expr err ↓	FID ↓	Speed ms ↓
FaceDancer [31]	0.401	2.04	7.97	16.30	78.3
DiffSwap [41]	0.278	2.45	5.35	2.16	46245.2
BlendFace [33]	0.392	3.71	3.18	3.84	24.7
SimSwap † [5]	0.180	3.92	3.81	16.89	27.1
FSGAN † [28]	0.105	5.31	4.02	43.64	21.5
AlphaFace (Our)	0.471	2.97	3.03	7.78	24.1

• AlphaFace は FF++ で 98.77 ID retrieval、MPIE で 0.471 CSIM の高いアイデンティティ保持を達成。
• FF++ で姿勢誤差 1.24、MPIE で 2.97、表情誤差はそれぞれ 2.03 および 3.03 に低下。
• FID スコアは FF++ が 2.71、MPIE が 7.78 で、忠実度は競合的。
• AlphaFace は 1 枚あたり 24.1 ms の推論速度を実現し、いくつかの最先端手法より高速で高品質なスワップを維持。
• アブレーションにより CLIP ベースの損失（テキストと ID）が併用されると、アイデンティティ、姿勢、表情指標の最良のバランスを得られる。
• CAII は FF++ および MPIE で一方向のアイデンティティ注入より姿勢/表情の整合を改善し、FID も低減する。