[論文レビュー] Age Progression/Regression by Conditional Adversarial Autoencoder

Zhifei Zhang, Yang Song+1 more|arXiv (Cornell University)|Feb 27, 2017

Face recognition and analysis参考文献 28被引用数 98

ひとこと要約

この論文は、ペアデータを必要とせずに年齢推移と年齢回帰を行うための Conditional Adversarial Autoencoder (CAAE) を提案します。個人固有の顔の多様体を学習し、年齢に沿ってそれを操作して同一性を保持します。

ABSTRACT

"If I provide you a face image of mine (without telling you the actual age when I took the picture) and a large amount of face images that I crawled (containing labeled faces of different ages but not necessarily paired), can you show me what I would look like when I am 80 or what I was like when I was 5?" The answer is probably a "No." Most existing face aging works attempt to learn the transformation between age groups and thus would require the paired samples as well as the labeled query image. In this paper, we look at the problem from a generative modeling perspective such that no paired samples is required. In addition, given an unlabeled image, the generative model can directly produce the image with desired age attribute. We propose a conditional adversarial autoencoder (CAAE) that learns a face manifold, traversing on which smooth age progression and regression can be realized simultaneously. In CAAE, the face is first mapped to a latent vector through a convolutional encoder, and then the vector is projected to the face manifold conditional on age through a deconvolutional generator. The latent vector preserves personalized face features (i.e., personality) and the age condition controls progression vs. regression. Two adversarial networks are imposed on the encoder and generator, respectively, forcing to generate more photo-realistic faces. Experimental results demonstrate the appealing performance and flexibility of the proposed framework by comparing with the state-of-the-art and ground truth.

研究の動機と目的

• クエリ画像にペアデータや年齢ラベルがない状態でも、年齢推移/回帰を促す。
• 個人の同一性を保ちながら、年齢を滑らかに移動できる顔の多様体を学習する。
• 個性（潜在表現 z）を年齢（ラベル l）から解離させ、柔軟な双方向の加齢を可能にする。
• 生成顔が写真実写に近く、姿勢・表情・遮蔽に対して頑健であることを保証する。

提案手法

• エンコーダ E を用いて、個性を保持する潜在ベクトル z に顔をエンコードする。
• 生成器 G を年齢ラベル l で条件づけて、z と l から x̂ を生成する。G(z,l) 。
• z の一様事前分布を強制する z-識別器 Dz を課すことで、滑らかな加齢遷移を促進する。
• 生成顔が写真実写風かつ年齢適切であることを保証する画像識別器 Dimg を課す。
• 入力 x と生成 x̂（年齢ラベル l 付き）の再構成損失を最小化し、アーティファクト低減のための TV 損失も併用する。
• E, G, Dz, Dimg の交互更新で、敵対的目的と L2/TV 損失を用いて訓練する。

Figure 1: We assume the face images lie on a manifold ( $\mathcal{M}$ ) , and images are clustered according to their ages and personality by a different direction. Given a query image, it will first projected to the manifold, and then after the smooth transformation on the manifold, the correspondi

実験結果

リサーチクエスチョン

• RQ1 ペアデータなしで年齢推移/回帰を実現できる顔の多様体を学習できるか？
• RQ2 個性（z）を年齢（l）から解離させることで、同一性を保ちながら現実的な双方向 aging を実現できるか？
• RQ3 z と生成画像の2つの識別器は、現実感と年齢条件付き忠実度を高めるか？
• RQ4 姿勢・表情・遮蔽の変動に対して、加齢中もアプローチは頑健か？
• RQ5 訓練分布を超える年齢を生成し、同一性を維持できるか？

主な発見

• CAAE は、ペアサンプルに頼らず、異なる年齢の写真のような顔を生成できる。
• 潜在ベクトル z が一様分布になるよう奨励され、滑らかな年齢移動を可能にする。
• 画像上の識別器は、年齢に適した高品質のテクスチャを生み出し、加齢の現実感を高める。
• このフレームワークは加齢中も個性を保持し、姿勢・表情・遮蔽に対して頑健である。
• 定性的およびユーザー評価は、先行研究より現実感と同一性の保持が優れていることを示す。

Figure 2: Illustration of traversing on the face manifold $\mathcal{M}$ . The input faces $x_{1}$ and $x_{2}$ are encoded to $z_{1}$ and $z_{2}$ by an encoder $E$ , which represents the personality. Concatenated by random age labels $l_{1}$ and $l_{2}$ , the latent vectors $[z_{1},l_{1}]$ and $[z_{2