[論文レビュー] Only a Matter of Style: Age Transformation Using a Style-Based Regression Model

Yuval Alaluf, Or Patashnik+1 more|arXiv (Cornell University)|Feb 4, 2021

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 15

ひとこと要約

本稿では、事前学習されたStyleGAN2の潜在空間に、事前学習済みの年齢推定器によってガイドされたスタイルベースの回帰モデルを用いて、実際の入力画像を符号化することで、顔画像の微細で連続的な年齢変換を可能にするSAM（スタイルベース年齢操作）を提案する。このアプローチにより、年齢進行のための非線形かつ分離可能な潜在空間パスが学習され、高精細でアイデンティティを保持した年齢変化が、制御可能に実現可能となり、定量的・定性的な両評価で先行手法を上回る性能を発揮する。

ABSTRACT

The task of age transformation illustrates the change of an individual's appearance over time. Accurately modeling this complex transformation over an input facial image is extremely challenging as it requires making convincing, possibly large changes to facial features and head shape, while still preserving the input identity. In this work, we present an image-to-image translation method that learns to directly encode real facial images into the latent space of a pre-trained unconditional GAN (e.g., StyleGAN) subject to a given aging shift. We employ a pre-trained age regression network to explicitly guide the encoder in generating the latent codes corresponding to the desired age. In this formulation, our method approaches the continuous aging process as a regression task between the input age and desired target age, providing fine-grained control over the generated image. Moreover, unlike approaches that operate solely in the latent space using a prior on the path controlling age, our method learns a more disentangled, non-linear path. Finally, we demonstrate that the end-to-end nature of our approach, coupled with the rich semantic latent space of StyleGAN, allows for further editing of the generated images. Qualitative and quantitative evaluations show the advantages of our method compared to state-of-the-art approaches.

研究の動機と目的

• 顔画像における現実的で連続的な年齢変化の課題に取り組むこと。
• GANの潜在空間で線形かつ混合された潜在パスを仮定する従来手法の限界を克服すること。
• 事前学習済みの年齢推定器を用いて年齢変化を回帰問題として定式化することで、年齢進行における微細な制御を可能にすること。
• 年齢と髪の色や顔貌特徴などの他の属性をより明確に分離する、非線形かつ分離可能なStyleGANのW+空間内の潜在パスを学習すること。
• StyleGANの潜在空間が持つ豊かな意味的構造を活用することで、生成された年齢変化結果に対する追加の編集機能を提供すること。

提案手法

• 本手法は、高品質な画像生成を可能にする事前学習済みのStyleGAN2ジェネレータを用い、入力顔画像をW+潜在空間にマッピングするエンコーダーを学習する。
• 訓練中に補助的な事前学習済みの年齢推定ネットワークが監視を提供し、エンコーダーが望ましいターゲット年齢に対応する潜在コードを生成するようにガイドされる。
• アイデンティティ保持（ArcFaceを用いて）、年齢推定損失（VGGベース）、および知覚損失（VGG特徴量）を組み合わせたマルチ損失目的関数を用いて、エンド・トゥ・エンドでモデルを訓練する。
• エンコーダーが学習する潜在パスは非線形かつ分離可能であり、線形パスの仮定に比べてより正確で現実的な年齢進行を実現できる。
• 年齢変換後、参照画像を用いてレイヤー8〜9でスタイルミキシングを行うことで、照明や髪の色といったグローバル属性のマルチモーダル生成と微細な編集が可能になる。
• 顔のひげや眼鏡などの局所的編集は、特定のスタイルベクトルにおけるパッチ編集により実現され、変換後の画像に対して属性固有の操作が可能になる。

実験結果

リサーチクエスチョン

• RQ1 事前学習GANの潜在空間において、年齢変化を離散的年齢グループに依存せず、連続的回帰問題としてモデル化できるか？
• RQ2 StyleGANのW+空間において非線形かつ分離可能な潜在パスを学習することで、線形パスの仮定に比べてより現実的でアイデンティティを保持した年齢進行が達成できるか？
• RQ3 事前学習済みの年齢推定器とエンド・トゥ・エンド訓練の組み合わせにより、実際の顔画像に対して高精細な年齢変化が実現できるか？
• RQ4 生成された年齢変化結果は、StyleGANのネイティブ編集機能を用いてどの程度さらに編集可能か？
• RQ5 本手法は、幼児や極端な表情といった困難なケースにおいてどのように動作するか、またその限界は何か？

主な発見

• SAMはベンチマークデータセット上での定量的・定性的な両評価において、既存手法を上回る最先端の性能を達成した。
• 本手法は、任意の入力画像から任意のターゲット年齢（例：5歳から85歳まで）への連続的かつ微細な年齢進行を実現でき、高いアイデンティティ保持性を示した。
• 従来の線形パス手法と比較して、髪の色や顔貌特徴などの他の属性からの分離性が向上し、より現実的で制御可能な年齢変化が実現された。
• エンド・トゥ・エンドのモデル構造により、スタイルミキシングとパッチ編集を用いた追加の編集が可能となり、マルチモーダル生成と属性固有の操作が生成画像に対して可能になった。
• 本手法は多様なアイデンティティと年齢範囲に対して頑健であるが、年齢推定器のバイアスにより、非常に若い子供（5歳未塔）では性能が低下する傾向がある。
• 限界として、ドメイン外の入力（例：アーリア・サム）、極端なポーズ、アクセサリーの影響、または生え際の後退や肌色の変化といった複雑な変化のモデリングが困難であることが挙げられる。