[論文レビュー] CycleGAN Face-off

Xiaohan Jin, Qi Ye+1 more|arXiv (Cornell University)|Dec 9, 2017

Generative Adversarial Networks and Image Synthesis参考文献 10被引用数 14

ひとこと要約

本稿では、ペアデータが存在しない非対応の動画フレームのみを用いて、2名の人物間での非教師付き顔の表情および属性変換を向上させるためのCycleGANの改善を提案する。敵対的訓練を強化することで顔の細部、頭部ポーズの変化、時間的整合性をよりよく捉え、対応データが不要な状態でより安定的かつ現実的な顔変換動画を実現する。

ABSTRACT

Face-off is an interesting case of style transfer where the facial expressions and attributes of one person could be fully transformed to another face. We are interested in the unsupervised training process which only requires two sequences of unaligned video frames from each person and learns what shared attributes to extract automatically. In this project, we explored various improvements for adversarial training (i.e. CycleGAN[Zhu et al., 2017]) to capture details in facial expressions and head poses and thus generate transformation videos of higher consistency and stability.

研究の動機と目的

• ペア学習データが存在しない状況下で、2名の人物間における非教師付き顔のスタイル変換の課題に対処すること。
• CycleGANにおける敵対的訓練を改善し、顔の微細な表情や頭部ポーズの変化をよりよく捉えること。
• 非対応の動画シーケンスから、時間的に整合的で安定した顔変換動画を生成すること。
• 明示的な教師信号を用いずに、顔の共有属性およびアイデンティティを保持する特徴を自動で学習すること。

提案手法

• 顔に特化した特徴をよりよくモデル化できるよう、生成器および識別器のアーキテクチャを変更することで、CycleGANの敵対的フレームワークを顔の特徴に特化して適応する。
• アイデンティティおよび顔の構造を翻訳中に保持するため、空間的アテンションを組み込んだ強化されたサイクル整合性損失を導入する。
• フレーム単位の整合性正則化を用いた時間的モデリングを導入することで、動画の滑らかさと運動の一貫性を向上させる。
• 同期的またはアラインされたフレームを必要とせず、2名の人物からの非対応動画シーケンスを入力として使用する。
• 被写体固有の特徴（顔の形状、肌の色など）を翻訳中に維持するため、アイデンティティ保持損失を活用する。
• インスタンス正則化と残差ブロックを用いた敵対的訓練を採用することで、学習の安定化と生成品質の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 非対応の動画シーケンスから高精細で時間的に整合的な顔変換動画を生成するために、CycleGANを効果的に適応できるか？
• RQ2 アーキテクチャおよび損失関数の変更が、非教師付き設定下での顔の表情および頭部ポーズの変換をどのように向上させるか？
• RQ3 提案手法は、人物間の顔変換において、アイデンティティおよび顔の構造をどの程度維持できるか？
• RQ4 時間的整合性正則化は、動画の安定性および視覚的品質を向上させるために果たす役割は何か？

主な発見

• 標準的なCycleGANに比べ、提案手法は顔の細部や頭部ポーズの変化をよりよく保持する点で、より現実的で安定した顔変換動画を達成している。
• 時間的整合性正則化により、生成された動画シーケンスにおけるフレッカリングや運動アーチファクトが顕著に低減された。
• ペア学習データを必要とせず、人物間で顔の表情および属性を効果的に転送している。
• アイデンティティ保持損失により、顔の輪郭や肌の色といった被写体固有の特徴が翻訳中に維持されている。