[論文レビュー] High-Fidelity and Arbitrary Face Editing

Yue Gao, Fangyun Wei+5 more|arXiv (Cornell University)|Mar 29, 2021

Face recognition and analysis被引用数 4

ひとこと要約

HifaFaceは、生成器に高周波成分を直接注入し、スティガノグラフィー的信号の隠蔽を防ぐために高周波ディスクリミネーターを用いることで、高精細で任意の顔貌的特徴の編集を可能にするウェーブレットベースの顔編集フレームワークを提案する。本手法は、定性的および定量的評価においてSOTA手法を上回る優れた忠実度と制御性を達成する。

ABSTRACT

Cycle consistency is widely used for face editing. However, we observe that the generator tends to find a tricky way to hide information from the original image to satisfy the constraint of cycle consistency, making it impossible to maintain the rich details (e.g., wrinkles and moles) of non-editing areas. In this work, we propose a simple yet effective method named HifaFace to address the above-mentioned problem from two perspectives. First, we relieve the pressure of the generator to synthesize rich details by directly feeding the high-frequency information of the input image into the end of the generator. Second, we adopt an additional discriminator to encourage the generator to synthesize rich details. Specifically, we apply wavelet transformation to transform the image into multi-frequency domains, among which the high-frequency parts can be used to recover the rich details. We also notice that a fine-grained and wider-range control for the attribute is of great importance for face editing. To achieve this goal, we propose a novel attribute regression loss. Powered by the proposed framework, we achieve high-fidelity and arbitrary face editing, outperforming other state-of-the-art approaches.

研究の動機と目的

• サイクル整合性のある顔編集において、生成器がスティガノグラフィー的信号を用いて入力の詳細を隠蔽する問題に対処すること。
• 高周波成分を生成器に直接入力することで、隠ぺい信号符号化への依存を低減し、高精細な顔編集を向上させること。
• 新しい属性回帰損失を用いて、顔貌的特徴に対する細かく広範な制御を可能とすること。
• 大規模なラベルなしデータを用いた半教師あり学習により、モデルの汎化性と忠実度を向上させること。
• GANベースの顔編集におけるサイクル整合性の限界を再評価し、解決すること。

提案手法

• 本手法は、入力画像を多周波帯域に分解するウェーブレット変換を用い、しわやそばかすなどの細部を含む高周波成分を分離する。
• 標準的なスキップ接続に代わり、新しいウェーブレットベースのスキップ接続モジュールを導入し、高周波特徴を生成器の最終層に直接注入することで、細部の忠実度を維持する。
• 生成器が現実的な高周波成分を出力するよう促すために、高周波ディスクリミネーター（$D_H$）を導入し、スティガノグラフィー的信号の隠蔽を抑制する。
• 属性の変化を連続的な範囲で明示的にモデル化できるように、属性回帰損失を設計し、属性の滑らかで任意の補間・外挿を可能にする。
• 大規模なラベルなし顔画像を活用するため、半教師あり学習を適用し、野生の画像環境下での汎化性と忠実度を向上させる。
• 全体のフレームワークは、サイクル整合性に加え、明示的な細部の監視と属性制御を統合し、強固な顔編集パイプラインを形成する。

(a) Input $\bm{x}$

実験結果

リサーチクエスチョン

• RQ1 生成器がスティガノグラフィー的手法を用いて入力詳細を隠蔽するのを防ぐことで、サイクル整合性GANの顔編集性能を向上させられるか？
• RQ2 高周波成分を生成器に効果的に注入することで、しわやそばかすのような顔の細部を保持できるか？
• RQ3 高周波ディスクリミネーターは、現実的な細部の合成を効果的に促し、サイクル整合性に対する自明な解を防げるか？
• RQ4 新しい属性回帰損失が、顔貌的特徴に対する細かく連続的かつ任意の制御をどの程度可能にするか？
• RQ5 大規模なラベルなしデータを用いた半教師あり学習は、野生の画像環境下での顔編集の品質と耐性を顕著に向上させるか？

主な発見

• HifaFaceの完全モデルは、Fréchet Inception Distance (FID) 4.04 および Fréchet Appearance Distance (FAD) 97.5 を達成し、ベースライン手法を顕著に上回る性能を示した。
• アブレーションスタディの結果、ウェーブレットベースのスキップ接続または高周波ディスクリミネーターを削除すると性能が急激に低下し、FIDは5.34に上昇し、FADは96.4に低下した。
• 属性回帰損失を欠落させたモデルは、特に「眼鏡」や「老化」のような広範囲の制御を要する属性において、滑らかな補間・外挿を生成できなかった。
• 半教師あり学習により、ラベル付きデータが少ない「眼鏡」や「老人」などの低リソース属性において、合成品質が向上した。
• 図10に示すように、多様なポーズや表情下でも、野生の画像に対して高忠実度と細部の保持を維持した編集を成功裏に実行した。
• 再構成実験により、HifaFaceの生成器は出力画像に隠ぺい信号を符号化しないことが確認されたが、ベースラインモデルはスティガノグラフィーに依存していた。

(b) $\bm{\hat{y}}=\bm{x}\text{ + EG}$