[論文レビュー] Recursive Chaining of Reversible Image-to-image Translators For Face Aging

Ari Heljakka, Arno Solin+1 more|arXiv (Cornell University)|Feb 14, 2018

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 8

ひとこと要約

本稿では、同一個人の異なる年齢でのペairedデータを必要とせず、複数の年齢段階にわたる顔の年齢変化を段階的にモデル化するため、可逆的GANベースの画像対画像変換器を再帰的チェーン化するフレームワークを提案する。連続する年齢遷移（例：25→35）において最適化された変換器を再利用することで、最小限の性能低下でモデル圧縮を達成し、4.5%未満の平均年齢推定誤差を実現する高精度で解釈可能かつ視覚的に現実的な年齢変化シミュレーションを可能にする。

ABSTRACT

This paper addresses the modeling and simulation of progressive changes over time, such as human face aging. By treating the age phases as a sequence of image domains, we construct a chain of transformers that map images from one age domain to the next. Leveraging recent adversarial image translation methods, our approach requires no training samples of the same individual at different ages. Here, the model must be flexible enough to translate a child face to a young adult, and all the way through the adulthood to old age. We find that some transformers in the chain can be recursively applied on their own output to cover multiple phases, compressing the chain. The structure of the chain also unearths information about the underlying physical process. We demonstrate the performance of our method with precise and intuitive metrics, and visually match with the face aging state-of-the-art.

研究の動機と目的

• 離散的な年齢ドメイン間での画像対画像変換としての段階的顔の年齢変化をモデル化すること。
• 同じ個人の異なる年齢でのペアデータを必要としないこと。
• 複数の年齢遷移にわたり、学習済みの変換器を再帰的に適用することで、モデルチェーンの圧縮を可能にすること。
• チェーン内での再利用可能な変換器の分析により、解釈可能な発達的パターンを解明すること。
• 転移学習と補助的年齢推定を活用することで、性能劣化を最小限に抑えた高精細な顔の年齢変化を達成すること。

提案手法

• 隣接する年齢ドメイン間（例：25→35歳）をマッピングする可逆的GANベースの画像対画像変換器のチェーンを構築する。
• ペアデータなしで年齢ドメイン間の可逆的マッピングを学習するために、サイクル整合性GANを用いた非ペア画像対画像変換を適用する。
• 変換器の性能をランク付けし、チェーン圧縮のためのメタトレーニングを誘導するために、補助的顔年齢推定器を導入する。
• 最高の性能を示した変換器（例：25→35）を複数の遷移（例：35→45）に再利用することで、全チェーンの圧縮を実現する。
• 生成器の可逆性を活用して、明示的なアイデンティティ正則化なしに、アイデンティティを暗黙的に保持する。
• 選択された変換器を複数の遷移で再トレーニングするメタトレーニングスキームを採用し、最小限の精度低下で再帰的再利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 可逆的GANベースの変換器のチェーンは、複数の非ペア年齢ドメインにわたる顔の年齢変化を段階的にモデル化できるか？
• RQ2 個々の変換器を複数の遷移にわたり再帰的に適用することで、全変換チェーンの圧縮はどの程度達成できるか？
• RQ3 補助的年齢推定器を用いることで、チェーン内の変換器の選定と再利用性はどのように向上するか？
• RQ4 チェーンの構造は、顔の年齢変化における解釈可能な高次元の発達的パターンを明らかにできるか？
• RQ5 再帰的変換器再利用によるチェーン圧縮が、年齢推定精度に及ぼす影響は何か？

主な発見

• チェーン圧縮後、バリデーションセットにおける平均年齢推定誤差が4.5%未満（最大3.2年）に達した。
• 圧縮による性能低下はほとんどなく、年齢群ごとの年齢推定誤差の標準偏差は2.4から5.6の範囲にとどまった。
• 1つの変換器（例：25→35）を複数の遷移（例：35→45）に成功裏に再利用でき、必要なモデル数を削減した。
• 補助的年齢推定器は、トレーニングの進行状況を一貫して反映し、バックプロパゲーションなしで再利用可能な変換器の選定に効果的に寄与した。
• 視覚的結果は、リアルさと段階間の変化の多様性において、最先端の顔の年齢変化手法を上回った。
• 再帰的チェーン構造により、皮膚にしわが現れるなど、微細な変化であっても体系的で解釈可能な発達的パターンが明らかになった。