[論文レビュー] A comprehensive survey on semantic facial attribute editing using generative adversarial networks

Ahmad Nickabadi, Maryam Saeedi Fard+2 more|arXiv (Cornell University)|May 21, 2022

Face recognition and analysis被引用数 8

ひとこと要約

本サーベイは、生成対抗ネットワーク（GAN）を用いた意味的顔属性編集について包括的な分析を提供し、最先端のモデルをエンコーダデコーダ型、画像対画像変換型、フォトガイドド型のアーキテクチャに分類している。主な構成要素として損失関数、データセット、評価指標、応用分野をレビューするとともに、属性のエンタングルメント、低解像度出力、データセットバイアスといった継続的な課題を特定している。

ABSTRACT

Generating random photo-realistic images has experienced tremendous growth during the past few years due to the advances of the deep convolutional neural networks and generative models. Among different domains, face photos have received a great deal of attention and a large number of face generation and manipulation models have been proposed. Semantic facial attribute editing is the process of varying the values of one or more attributes of a face image while the other attributes of the image are not affected. The requested modifications are provided as an attribute vector or in the form of driving face image and the whole process is performed by the corresponding models. In this paper, we survey the recent works and advances in semantic facial attribute editing. We cover all related aspects of these models including the related definitions and concepts, architectures, loss functions, datasets, evaluation metrics, and applications. Based on their architectures, the state-of-the-art models are categorized and studied as encoder-decoder, image-to-image, and photo-guided models. The challenges and restrictions of the current state-of-the-art methods are discussed as well.

研究の動機と目的

• GANを用いた意味的顔属性編集分野における最近の進展を体系的にレビューすること。
• エンコーダデコーダ型、画像対画像変換型、フォトガイドド型の3つのアーキテクチャに分類して、最先端モデルの設計を分類すること。
• 損失関数、データセット、評価指標がモデル性能に与える役割を分析すること。
• 属性のエンタングルメント、低解像度画像、データセットバイアスといった現在の手法における深刻な制限要因を特定すること。
• 意味的顔編集分野における未解決の課題と今後の研究方向性を強調すること。

提案手法

• 顔属性編集モデルを主に3つのアーキテクチャに分類する：エンコーダデコーダ型、画像対画像変換型、フォトガイドド型モデル。
• 訓練に用いられる損失関数をレビューし、再構成損失、属性分類損失、敵対的損失を含む。
• 訓練に使用されるデータセットを分析し、多様性の不足、人種の不均衡、属性の不均衡といった問題を指摘する。
• 評価指標を検討し、専用の定量的指標が不足しているため、人間による評価に依存している点を強調する。
• プロファイルビュー、遮蔽、希少な顔属性といった困難な状況下でのモデルの挙動を調査する。
• モデルアーキテクチャと訓練データの影響が、画像品質および属性の分離性に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダデコーダ型、画像対画像変換型、フォトガイドド型の各GANベースアーキテクチャは、意味的顔属性編集においてどのように性能を発揮するか？
• RQ2 現在の顔属性編集モデルが、希少または複雑な顔の状態（例：プロファイル、遮蔽）を処理する際に直面する主な制限は何か？
• RQ3 既存のデータセットと評価プロトコルは、モデルの汎化性と公平性をどの程度制限しているか？
• RQ4 損失関数は、生成出力における属性の分離性と画像の忠実性にどのように影響を与えるか？
• RQ5 高解像度でアーティファクトのない、意味的に一貫性のある顔編集を達成するにあたり、主な課題は何か？

主な発見

• 現在の最先端モデルは、プロファイルや遮蔽がある顔の編集に苦労しており、一般化能力に欠けるため、満足のいく結果を得られていない。
• 多くのモデルが、笑顔やニュートラルな表情が過剰に含まれるなど、属性分布に偏りのあるデータセットで学習されている。
• 解像度の低さが依然として主要な制限要因となっており、128×128 や 384×384 といった低解像度の入力で動作するモデルが多く、高精細生成技術の進展にもかかわらず依然として問題となっている。
• 属性編集性能を評価するための標準的で特別な定量的指標が存在せず、人間による評価が主なベンチマークのままである。
• 属性のエンタングルメントが継続的に存在しており、ある属性の変更が他の属性に意図せず影響を与えることが多く、特に複雑な非理想状態の顔画像では顕著である。
• FaceShifter などのモデルは遮蔽に強いとされているが、このような能力は稀であり、アーキテクチャ間での一般化は難しい。