[論文レビュー] Instance-level Facial Attributes Transfer with Geometry-Aware Flow

Weidong Yin, Ziwei Liu+1 more|arXiv (Cornell University)|Nov 30, 2018

Face recognition and analysis参考文献 43被引用数 7

ひとこと要約

本稿では、顔のランドマークを活用してポーズに頑健で微分可能であるが、元の属性の詳細を保持する、インスタンスレベルの顔貌属性転送のための幾何学的注意型フロー枠組みを提案する。フローに基づくワーピングと外見リマインダー精錬ネットワーク、および未ペairedデータにおけるサイクル整合性学習を組み合わせることで、大規模なポーズおよび外見のギャップに対しても高精細で現実的な属性転送を実現し、高解像度および非局所的属性（例：ボウズ、笑顔）への一般化性も優れている。

ABSTRACT

We address the problem of instance-level facial attribute transfer without paired training data, e.g. faithfully transferring the exact mustache from a source face to a target face. This is a more challenging task than the conventional semantic-level attribute transfer, which only preserves the generic attribute style instead of instance-level traits. We propose the use of geometry-aware flow, which serves as a well-suited representation for modeling the transformation between instance-level facial attributes. Specifically, we leverage the facial landmarks as the geometric guidance to learn the differentiable flows automatically, despite of the large pose gap existed. Geometry-aware flow is able to warp the source face attribute into the target face context and generate a warp-and-blend result. To compensate for the potential appearance gap between source and target faces, we propose a hallucination sub-network that produces an appearance residual to further refine the warp-and-blend result. Finally, a cycle-consistency framework consisting of both attribute transfer module and attribute removal module is designed, so that abundant unpaired face images can be used as training data. Extensive evaluations validate the capability of our approach in transferring instance-level facial attributes faithfully across large pose and appearance gaps. Thanks to the flow representation, our approach can readily be applied to generate realistic details on high-resolution images.

研究の動機と目的

• 特定のインスタンスレベルの顔貌属性（例：固有のヒゲ）をソース顔からターゲット顔に転送する課題に取り組むこと、一般的な属性スタイルの転送ではなく、
• 従来のセマンティックレベルの転送手法が、ソース属性の形状・テクスチャ・スタイルといった個別的特徴を保持できないという限界を克服すること。
• ペアデータなしで、大規模なポーズ変化や外見差異（例：照明、肌色）に対しても忠実な属性転送を可能にすること。
• 再訓練なしでぼやけた結果が一般的なパラメトリックGANベースの手法を避ける、スケーラブルで高解像度対応可能な手法を開発すること。

提案手法

• 大規模なポーズギャップにわたってインスタンスレベルの属性変換を頑健にモデル化できる、微分可能でランドマーク誘導型のワーピング表現として、幾何学的注意型フローを導入する。
• 顔のキーポoinトスパイリングを用いてエンドツーエンドでフローネットワークを学習し、ソース属性をターゲット顔にワーピングする際の幾何的整合性を保証する。
• ワーピング後の照明・肌色・テクスチャの不一致を補正するためのホールーシネーション（精錬）サブネットワークを統合する。
• 属性転送モジュールと属性削除モジュールを組み合わせたサイクル整合性フレームワークを設計し、豊富な未ペア顔画像で学習を可能にする。
• 再トレーニングなしで、フロー、マスク、リマインダー地図をアップサンプリングすることで、高解像度画像に適用可能な幾何学的注意型フローを活用する。
• マルチステージパイプラインを採用：まず幾何学的注意型フローでソース属性をワープし、次に外見リマインダーで結果を精錬することで、リアルさと忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ペアデータなしで、大規模なポーズ変化に対しても、幾何学的注意型フローがインスタンスレベルの顔貌属性転送を効果的にモデル化できるか？
• RQ2 外見リマインダーサブネットワークは、ソースとターゲット顔の照明や肌色の違いといった外見ギャップをどれほど効果的に補正できるか？
• RQ3 サイクル整合性学習スキームは、未ペア顔画像からどれほど効果的に学習を可能にするか？
• RQ4 提案手法は、ボウズや笑顔など、複雑な非局所的変形を伴う非局所的属性にも一般化できるか？
• RQ5 従来のGANベースの手法と比較して、高解像度顔画像へのスケーリング性能はどの程度か？

主な発見

• 幾何学的注意型フローのサブネットワークは、忠実な属性転送に不可欠であり、これを除去するとFIDスコアと忠実度スコアが著しく低下し、ぼやけた不正確な結果が生じる。
• 外見リマインダー精錬サブネットワークは、特に肌色や照明の不一致の補正において、属性分類精度と視覚的品質を顕著に向上させる。
• 完全なモデル（GeoGAN）はCelebAおよびCelebA-HQで最高のパフォーマンスを達成し、優れたFIDスコアに加え、知覚的リアルさと属性忠実度においてユーザーの好みも高い。
• 本手法は、ボウズや笑顔といった挑戦的な非局所的属性に対しても良好に一般化され、フローネットワークが複雑な非局所的特徴を効果的に転送している。
• 低解像度のフローからアップサンプリングすることで高解像度結果を直接生成でき、再トレーニングなしに高周波数の詳細を保持する。従来手法に比べて解像度スケーラビリティに優れている。
• ユーザー評価では、眼鏡、ヒゲ、グレートゥーなど、さまざまな属性において、視覚的品質と属性忠実度の観点で、完全なモデルが大多数の選択を獲得している。