[論文レビュー] Recent Progress of Face Image Synthesis

Zhihe Lu, Zhihang Li+3 more|arXiv (Cornell University)|Jun 15, 2017

Face recognition and analysis参考文献 31被引用数 12

ひとこと要約

本論文は、顔画像合成手法について包括的なレビューを提供しており、従来のアプローチとディープラーニング技術、特に生成対抗ネットワーク（GANs）に焦点を当てている。GANsは、写真のようにリアルで、アイデンティティを保持する顔画像の生成を可能にした。主な貢献は、最先端のGANベースの手法を統合し、公開データベースと評価指標を用いて評価し、今後の研究における未解決の課題を特定することにあった。

ABSTRACT

Face synthesis has been a fascinating yet challenging problem in computer vision and machine learning. Its main research effort is to design algorithms to generate photo-realistic face images via given semantic domain. It has been a crucial prepossessing step of main-stream face recognition approaches and an excellent test of AI ability to use complicated probability distributions. In this paper, we provide a comprehensive review of typical face synthesis works that involve traditional methods as well as advanced deep learning approaches. Particularly, Generative Adversarial Net (GAN) is highlighted to generate photo-realistic and identity preserving results. Furthermore, the public available databases and evaluation metrics are introduced in details. We end the review with discussing unsolved difficulties and promising directions for future research.

研究の動機と目的

• 従来の手法とディープラーニングベースの顔画像合成手法を体系的にレビューすること。
• 生成対抗ネットワーク（GANs）が写真のようにリアルで、アイデンティティを保持する顔画像生成に果たす役割を強調すること。
• 顔画像合成研究で用いられる公開可能な顔データベースと評価指標を要約すること。
• 現在の課題を特定し、顔画像合成分野における有望な今後の研究方向性を提案すること。

提案手法

• 部分空間表現、幾何モデリング、統計モデルに分類して従来の顔画像合成手法を整理する。
• エンドツーエンドの顔画像生成を目的とした、特にGANの変種に注目したディープラーニングベースのアプローチを調査する。
• 高精細で多様性があり、アイデンティティが一貫した顔画像を生成するGANベースのモデルを分析する。
• 人間による視覚的評価と自動評価指標（例：Inceptionスコア、ピクセルレベルの誤差）を併用して合成品質を評価する。
• 光度誤差と幾何誤差の評価にRMSEを適用し、顔マスクの重複度を評価するのにIoUを用いる。
• 顔認識精度などの下流タスクの性能を、合成品質の間接的評価に用いる。

実験結果

リサーチクエスチョン

• RQ1 部分空間学習、幾何モデリング、統計モデルに基づく従来の顔画像合成手法は、性能と一般化能力においてどのように比較されるか？
• RQ2 GANベースのディープラーニングモデルは、どれほど写真のようにリアルで、アイデンティティを保持する顔画像を生成できるか？
• RQ3 合成顔画像の品質を評価するのに最も効果的な評価指標は何か？
• RQ4 現在の顔画像合成データベースと評価プロトコルの主な制限は何であるか？
• RQ5 高解像度、クロスモーダル、およびペアなしデータの顔画像合成における現在の課題を克服するための今後の研究方向性は何か？

主な発見

• GANベースのモデルは顔画像合成分野を大きく前進させ、高品質でアイデンティティを保持する写真のようなリアルな結果を達成している。
• Inceptionスコアやピクセルレベルの誤差（例：RMSE）による評価は、客観的で自動化された評価を可能にするが、人間による評価が依然として基準とされている。
• 3次元モーファブルモデルや幾何ベースの手法は、特にスパarsな入力からの顔の構造モデリングにおいて、依然として重要性を保っている。
• 高解像度顔画像合成は、トレーニングの不安定性と高い計算コストのため、依然として主要な未解決課題のままである。
• 可視光から近赤外へのクロスモーダル合成やペアなしデータでの学習は有望ではあるが、まだ十分に発展していない分野である。
• 既存のデータベースは規模と多様性に欠けていることが多く、特に屋外や複数のポーズのシナリオでは、より大規模で代表的なデータセットの構築が急務である。