[論文レビュー] Face Translation between Images and Videos using Identity-aware CycleGAN

Zhiwu Huang, Bernhard Kratzwald+3 more|arXiv (Cornell University)|Dec 4, 2017

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 8

ひとこと要約

本論文は、顔のアイデンティティを保持するためのアイデンティティに配慮したCycleGANフレームワークを、画像と動画間のペアなし顔変換に提案する。Wasserstein GANとFaceNetベースのアイデンティティ検証器を活用することで、視覚的品質とアイデンティティ保持の両面で最先端の性能を達成している。

ABSTRACT

This paper presents a new problem of unpaired face translation between images and videos, which can be applied to facial video prediction and enhancement. In this problem there exist two major technical challenges: 1) designing a robust translation model between static images and dynamic videos, and 2) preserving facial identity during image-video translation. To address such two problems, we generalize the state-of-the-art image-to-image translation network (Cycle-Consistent Adversarial Networks) to the image-to-video/video-to-image translation context by exploiting a image-video translation model and an identity preservation model. In particular, we apply the state-of-the-art Wasserstein GAN technique to the setting of image-video translation for better convergence, and we meanwhile introduce a face verificator to ensure the identity. Experiments on standard image/video face datasets demonstrate the effectiveness of the proposed model in both terms of qualitative and quantitative evaluations.

研究の動機と目的

• 静的画像と動的ビデオ間のペアなし顔変換に関する研究の不足に対処する。
• 2次元画像と3次元ビデオシーケンスの間の高い異質性に起因する課題を克服する。
• ドメインシフトと限られたペアデータがある中で、双方向変換においても顔のアイデンティティを保持する。
• 画像から動画、動画から画像への両方の変換をサポートする統合型GANフレームワークを開発する。

提案手法

• 画像から動画への変換と動画から画像への変換を別々のサブネットワークとして導入することで、CycleGANを画像・動画変換に適応する。
• 安定した学習と収束性の向上のため、勾配ペナルティを用いたWasserstein GAN（WGAN-GP）を採用する。
• 事前学習済みのFaceNetを顔検証器として統合し、深層埋め込みにおけるアイデンティティ損失を用いてアイデンティティ保持を強制する。
• 画像と動画の再構成を組み合わせた循環的整合性損失を設計し、構造的整合性を保証する。
• 敵対的損失、循環的整合性損失、アイデンティティ保持項を組み合わせた複合損失を用いて、モデル全体を訓練する。
• 学習中にFaceNetのパラメータを固定し、アイデンティティ監視の安定化を図るとともに、生成器を介した勾配伝搬を許容する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、ペアなしの画像と動画間の顔変換を効果的に行い、アイデンティティを保持できるか？
• RQ2 顔認識ネットワークを統合することで、画像・動画変換におけるアイデンティティの一貫性はどのように向上するか？
• RQ3 この異種変換設定において、標準GANと比較してWGAN-GPを用いることでどのような影響が生じるか？
• RQ4 敵対的損失、循環的整合性損失、アイデンティティ損失といった異なる損失成分は、視覚的品質とアイデンティティ保持のバランスにどのように寄与するか？
• RQ5 このモデルは、正面でない顔や急激に動く顔に対してもどの程度一般化可能か？

主な発見

• 敵対的損失、循環的整合性損失、アイデンティティ保持損失を組み合わせたModel3は、FaceNetの検証スコアが最低となり、優れたアイデンティティ保持性能を示している。
• アイデンティティスコア曲線は50K回の学習イテレーションにわたり安定して低下を示し、効果的で安定したアイデンティティ学習が行われていることを確認した。
• 視覚的結果から、Model3は特に遮られやすい口元や非正面の視点といった挑戦的ケースにおいても、ベースラインより顔のアイデンティティをよりよく保持していることが分かった。
• モデルは静的画像から現実的な顔のシーケンスを生成し、低品質な動画から高品質な画像を再構築するのに成功している。
• 失敗事例は主に非正面または急激に動く顔に対して発生しており、ポーズおよび運動のロバストネスに限界があることが示唆された。
• 定量的評価結果から、視覚的品質がわずかに低下しても、FaceNetベースの損失によりアイデンティティ保持が顕著に向上していることが確認された。