[論文レビュー] Age Progression and Regression with Spatial Attention Modules

Qi Li, Yunfan Liu+1 more|arXiv (Cornell University)|Mar 6, 2019

Face recognition and analysis参考文献 11被引用数 6

ひとこと要約

本稿では、年齢進行と年齢後退を同時に実行できる、二重生成器と空間的アテンションモジュールを備えた条件付きGANフレームワークを提案する。老化と若返りを別個で定義された逆方向の翻訳タスクとしてモデル化し、空間的アテンションにより年齢関連の顔面領域に焦点を当てることで、従来手法と比較して優れた正確性と忠実度を実現する、写真のようにリアルで身元を保持する顔画像を、多様な屋外条件下でも生成する。

ABSTRACT

Age progression and regression refers to aesthetically render-ing a given face image to present effects of face aging and rejuvenation, respectively. Although numerous studies have been conducted in this topic, there are two major problems: 1) multiple models are usually trained to simulate different age mappings, and 2) the photo-realism of generated face images is heavily influenced by the variation of training images in terms of pose, illumination, and background. To address these issues, in this paper, we propose a framework based on conditional Generative Adversarial Networks (cGANs) to achieve age progression and regression simultaneously. Particularly, since face aging and rejuvenation are largely different in terms of image translation patterns, we model these two processes using two separate generators, each dedicated to one age changing process. In addition, we exploit spatial attention mechanisms to limit image modifications to regions closely related to age changes, so that images with high visual fidelity could be synthesized for in-the-wild cases. Experiments on multiple datasets demonstrate the ability of our model in synthesizing lifelike face images at desired ages with personalized features well preserved, and keeping age-irrelevant regions unchanged.

研究の動機と目的

• 既存の年齢進行・後退手法の限界に対処する。これらの手法はしばしば複数のモデルを必要とし、ポーズ、照明、背景の変動によって写真的リアリズムが損なわれる。
• 条件付きGANを用いて年齢進行と後退を統合し、1つのフレームワークで同時に老化と若返りの効果を合成可能にする。
• 空間的アテンション機構を用いて年齢関連の顔面領域にのみ変更を制限することで、画像品質を向上させ、アーティファクトを低減する。
• 複雑な背景やオクルージョンなどの関係のない画像コンテンツからの干渉を最小限に抑えることで、屋外画像の変動にさらなる耐性を高める。
• 事前学習済みの年齢分類器や身元特徴抽出器を必要とせず、高い身元保持性と正確な年齢変換を実現する。

提案手法

• フレームワークは、年齢進行（しわの追加、深い笑い皺の強調）と年齢後退（しわの除去、肌のなめらかさの回復）のそれぞれを担当する2つの独立した生成器を採用し、それぞれがターゲット年齢に条件付けられる。
• 両生成器に空間的アテンションモジュールを統合し、目、額、口などの年齢変化に関連する領域を動的に強調する。
• アテンション機構により、画像翻訳がこれらの顕著な領域に限定される。これにより、背景や装飾品などの年齢に関係のない特徴が保持され、ゴーストアーティファクトが低減される。
• リアルな画像合成を保証するため、生成器と識別器間の adversarial 学習を用いた条件付きGAN損失を採用する。
• モデルの収束を向上させ、各生成器が年齢進行または後退の一方の方向に特化できるように、年齢順にデータを並べ替えた。
• 事前学習済みの年齢分類器や身元エンコーダーを必要とせず、エンド・トゥ・エンドで訓練可能であり、トレーニングパイプラインが簡素化される。

実験結果

リサーチクエスチョン

• RQ1 統合された条件付きGANフレームワークは、年齢進行と後退を同時に効果的に実行できるか？
• RQ2 老化と若返りに別々の生成器を用いることで、単一モデルアプローチに比べて性能がどのように向上するか？
• RQ3 空間的アテンション機構を組み込むことで、年齢変換タスクにおけるアーティファクト低減と画像品質向上にどの程度寄与するか？
• RQ4 ポーズ、照明、背景の多様な変動を伴う屋外画像に対し、モデルの一般化性能はどの程度高いか？
• RQ5 順序付けられたトレーニングデータの使用は、年齢変換タスクにおけるモデルの収束性と性能向上に寄与するか？

主な発見

• 提案手法は、Morph、CACD、UTKFaceの3つのデータセットにおいて、年齢変換の正確性と身元保持性の両面で、CAAE、IPCGAN、Dual cGANsを含む最先端手法を上回る最高の性能を達成した。
• CACDおよびUTKFaceデータセットでは、ピクセル単位での再推定と歪みの増大に苦しむIPCGANと比較して、本手法は顕著に高い年齢変換正確性を達成した。
• 事前学習済みの年齢分類器や身元特徴抽出器を必要とせず、256×256解像度の高精細画像を生成可能であり、トレーニングの簡素化と再現性の向上に寄与した。
• アブレーションスタディの結果、空間的アテンションモジュールと順序付き入力トレーニングペアの両方が最適性能を発揮するために不可欠であり、特にCACDやUTKFaceなどの屋外データセットで顕著な向上が観察された。
• FG-NET、CelebA、IMDB-WIKIといった未学習のデータセットに対しても、年齢ラベルが欠落または不正確であっても、オクルージョンや背景を良好に保持する一般化性能を示した。
• 空間的アテンション機構によりゴーストアーティファクトが効果的に抑制され、年齢に関連する領域にのみ変更が行われるため、より自然でリアルな老化効果が得られた。