[論文レビュー] GuidedStyle: Attribute Knowledge Guided Style Manipulation for Semantic Face Editing

Xianxu Hou, Xiaokang Zhang+3 more|arXiv (Cornell University)|Dec 22, 2020

Generative Adversarial Networks and Image Synthesis参考文献 50被引用数 4

ひとこと要約

GuidedStyle は、事前学習済み顔属性分類器とスパースアテンションメカニズムを用いて潜在空間の操作をガイドすることで、StyleGANにおける分離可能で制御可能な意味的顔編集のための新規フレームワークを提案する。このメソッドは、合成顔および実際の顔、アートポートレートを含め、顔のアイデンティティ保持と属性分離の両面で最先端の手法を上回る性能を達成する。

ABSTRACT

Although significant progress has been made in synthesizing high-quality and visually realistic face images by unconditional Generative Adversarial Networks (GANs), there still lacks of control over the generation process in order to achieve semantic face editing. In addition, it remains very challenging to maintain other face information untouched while editing the target attributes. In this paper, we propose a novel learning framework, called GuidedStyle, to achieve semantic face editing on StyleGAN by guiding the image generation process with a knowledge network. Furthermore, we allow an attention mechanism in StyleGAN generator to adaptively select a single layer for style manipulation. As a result, our method is able to perform disentangled and controllable edits along various attributes, including smiling, eyeglasses, gender, mustache and hair color. Both qualitative and quantitative results demonstrate the superiority of our method over other competing methods for semantic face editing. Moreover, we show that our model can be also applied to different types of real and artistic face editing, demonstrating strong generalization ability.

研究の動機と目的

• 無条件 GAN における意味的顔編集の制御性の欠如、特に笑顔や眼鏡といった特定の属性を編集する際の制御性の不足を解消すること。
• 潜在空間編集におけるエンタングルメント問題、すなわち一つの属性に変更を加えると他の属性まで意図せず影響してしまう問題を克服すること。
• 潜在空間における事前の線形方向に依存せずに、制御可能で分離可能な編集を可能にすること。
• 合成データに限定されず、実際の画像やアートポートレートを含む多様な顔タイプに一般化できること。
• 生成モデルと事前学習済み属性分類器を統合的に学習するフレームワークを構築し、意味的ガイダンスを提供すること。

提案手法

• 事前学習済み顔属性分類器に基づく知識ネットワークが、潜在空間における操作ネットワークの制御信号を提供する。
• スパースアテンションメカニズムが、StyleGANジェネレータ内の1つのスタイル層を動的に選択し、特定の属性編集に特化することで、分離性を向上させる。
• ジェネレータと操作ネットワークを、属性分類器の予測結果を監視信号として統合的に学習させることで、正しい属性変更を保証する。
• この手法は、StyleGAN2の潜在空間上で動作し、顔のアイデンティティや他の顔属性を保持したまま高精細な編集を可能にする。
• プロジェクションベースの推論パイプラインにより、まず実顔画像を潜在空間にエンコードし、その後編集を実行する。
• FID、SWD、コサイン類似度、ユークリッド距離を用いて、画像品質とアイデンティティ保持度を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み分類器からの属性誘導知識が、StyleGANにおける意味的顔編集の制御性と分離性を向上させるか？
• RQ2 アテンションによる1つのスタイル層のアダプティブ選択が、より正確で独立した属性編集を実現するか？
• RQ3 提案手法が、学習分布外の実顔画像やアートポートレートにも一般化可能か？
• RQ4 既存の最先端手法と比較して、定量的および定性的にどのように性能を発揮するか？
• RQ5 アイデンティティ保持と非ターゲット属性への不測の影響の程度はどの程度か？

主な発見

• GuidedStyle は、Fréchet Inception Distance (FID) 41.79 を達成し、InterFaceGAN (49.90) や Image2StyleGAN (53.08) より顕著に優れており、画像品質と分布類似度の両面で優れた性能を示す。
• コサイン類似度 (CS) 0.64 およびユークリッド距離 (ED) 0.79 を達成し、競合手法と比較して顕著なアイデンティティ保持性能を示す。
• 定性的な結果から、笑顔、眼鏡、ひげ、髪の色といった属性への編集が非常に分離可能であり、他の顔特徴への不測の影響が最小限に抑えられていることが確認された。
• モデルはアートポートレートに対しても効果的に一般化され、眼鏡や表情の編集が適切に実行され、フレームのフィット感と色の整合性が保たれた。
• 実顔画像においても、ポーズや肌の色、髪型を変更せずに、リアルな眼鏡の追加に成功しており、強力な一般化能力を裏付けた。
• スパースアテンションメカニズムにより、1つのスタイル層に焦点を当てた編集が可能となり、属性操作の分離性と制御性の向上に寄与した。