[論文レビュー] MarioNETte: Few-shot Face Reenactment Preserving Identity of Unseen Targets

Sungjoo Ha, Martin Kersner+3 more|arXiv (Cornell University)|Nov 19, 2019

Face recognition and analysis参考文献 40被引用数 22

ひとこと要約

MarioNETteは、画像アテンションブロック、ターゲット特徴のアライメント、および新しいランドマークトランスフォーマーを採用することで、ドライバとターゲットの顔の特徴が著しく異なる場合に生じるアイデンティティ保持の失敗を軽減する、few-shot顔リエンアクションフレームワークを提案する。この手法は微調整を必要とせず、顔のポーズやアイデンティティの違いが大きい状況でも、現実性とアイデンティティの忠実度を著しく向上させ、最先端の性能を達成する。

ABSTRACT

When there is a mismatch between the target identity and the driver identity, face reenactment suffers severe degradation in the quality of the result, especially in a few-shot setting. The identity preservation problem, where the model loses the detailed information of the target leading to a defective output, is the most common failure mode. The problem has several potential sources such as the identity of the driver leaking due to the identity mismatch, or dealing with unseen large poses. To overcome such problems, we introduce components that address the mentioned problem: image attention block, target feature alignment, and landmark transformer. Through attending and warping the relevant features, the proposed architecture, called MarioNETte, produces high-quality reenactments of unseen identities in a few-shot setting. In addition, the landmark transformer dramatically alleviates the identity preservation problem by isolating the expression geometry through landmark disentanglement. Comprehensive experiments are performed to verify that the proposed framework can generate highly realistic faces, outperforming all other baselines, even under a significant mismatch of facial characteristics between the target and the driver.

研究の動機と目的

• ドライバとターゲットの顔の特徴が著しく異なる場合に、モデルがターゲットのアイデンティティを保持できなくなるfew-shot顔リエンアクションにおけるアイデンティティ保持問題に対処すること。
• 未学習のアイデンティティを再現する際、微調整や再トレーニングの必要を排除すること。
• 顔のポーズの変化が大きく、アイデンティティの不一致がある状況でも、リエンアクションの品質を向上させること。
• ラベル付きデータが不要な教師なし手法を用いて、ドライバのランドマークをターゲットのアイデンティティに適合させる方法を開発すること。

提案手法

• モデルは、3次元ランドマーク検出器を備えたプレプロセッサを用い、顔のキーポoinを抽出・正規化し、それをランドマークトランスフォーマーに供給することで、表情とアイデンティティの幾何的特徴を分離する。
• 画像アテンションブロックにより、ジェネレータはターゲット特徴マップの関連する空間的位置に動的に注目でき、合成過程での特徴のインジェクションを向上させる。
• ターゲット特徴のアライメントは、特徴レベルでの複数のワープ操作を適用し、異なるポーズやアイデンティティ間でターゲット特徴をアライメントする。
• ジェネレータは、U-Netベースのターゲットエンコーダを用いてスタイル特徴を抽出し、ワープされたターゲット特徴マップを生成する。
• ブレンドモジュールは、ドライバのポーズ／表情特徴とターゲットのスタイル特徴を融合し、画像生成用の混合特徴マップを生成する。
• 判別器を備えた条件付きGANフレームワークにより、敵対的訓練を通じて現実的な画像出力を保証する。

実験結果

リサーチクエスチョン

• RQ1 ドライバとターゲットの顔の特徴が著しく異なる状況下でも、few-shot顔リエンアクションモデルが未学習のターゲットのアイデンティティを保持できるか？
• RQ2 各ターゲットアイデンティティの微調整やラベル付きデータが利用できない状況で、アイデンティティ保持をどのように改善できるか？
• RQ3 教師なしランドマーク変換は、リエンアクション過程でのアイデンティティ不一致問題をどの程度軽減できるか？
• RQ4 画像アテンションと特徴レベルでのワープを組み合わせることで、顔のポーズ変化が著しい状況下でも、アイデンティティ保持と現実性の両面で既存手法を上回る性能を達成できるか？

主な発見

• MarioNETteは、VoxCeleb1およびCelebVデータセットの両方で、すべての最先端のベースラインを上回り、特にアイデンティティ不一致の条件下で顕著な優位性を示した。
• アブレーションスタディの結果、画像アテンションとターゲット特徴アライメントの組み合わせが最良の性能を発揮し、CSIMスコアがAdaINや単一コンponentの変種よりも顕著に高いことが確認された。
• ランドマークトランスフォーマーにより、ドライバのアイデンティティが干渉するのを軽減でき、ドライバとターゲットの顔の特徴が著しく異なる場合でも、アイデンティティ保持の指標が向上した。
• ユーザースタディの結果、特に挑戦的なfew-shot設定下において、先行手法に比べてより現実的でアイデンティティを忠実に再現する結果を生成した。
• 顔のポーズが著しく大きい状況でも、従来の手法がワープアーチファクトにより失敗する中、MarioNETteは高品質なリエンアクションを維持した。
• アテンションマップの可視化から、MarioNETteが適切なターゲット画像の関連する顔領域（例：額）に正しく注目していることが示された。