[論文レビュー] Longitudinal Face Aging in the Wild - Recent Deep Learning Approaches

Chi Nhan Duong, Khoa Luu+2 more|arXiv (Cornell University)|Feb 23, 2018

Face recognition and analysis参考文献 35被引用数 3

ひとこと要約

この論文は、非制約的（「野生の」）環境における縦断的顔の老化に関する最近の深層学習ベースの手法をレビューし、正規化フロー（TNVP）や逆強化学習（IRL）に基づく被験者依存型深層老化経路（SDAP）を含む深層生成モデルに焦点を当てる。エンドツーエンドで訓練可能なモデルを提案し、潜在空間モデリングを通じて非線形の老化変換を学習することで、最先端の合成品質を達成し、ベンチマークデータセット上で顔認識の精度を最大15%向上させた。

ABSTRACT

Face Aging has raised considerable attentions and interest from the computer vision community in recent years. Numerous approaches ranging from purely image processing techniques to deep learning structures have been proposed in literature. In this paper, we aim to give a review of recent developments of modern deep learning based approaches, i.e. Deep Generative Models, for Face Aging task. Their structures, formulation, learning algorithms as well as synthesized results are also provided with systematic discussions. Moreover, the aging databases used in most methods to learn the aging process are also reviewed.

研究の動機と目的

• 非制約的環境における縦断的顔の老化に関する最近の深層学習ベースの手法をレビューし、体系化すること。
• 顔の年齢進行に応用された深層生成モデル（DGM）のアーキテクチャ、定式化、学習メカニズムを分析すること。
• 標準化された老化データベース上で最先端のモデルの性能を評価し、クロスエイジ顔認識に与える影響を検証すること。
• AGFWおよびAGFW-v2データセットを導入し、大規模かつ野生の環境向けのリソースとしての訓練およびベンチマークの基盤を提供すること。

提案手法

• 顔の異なる年齢における潜在表現の間の可逆的かつ一対一の変換をモデル化するために、Real-NVP（TNVP）形式の正規化フロー（NF）を採用する。
• 逆強化学習（IRL）フレームワーク内に、連続する顔画像から個人に特化した老化経路を学習する被験者依存型老化ポリシー・ネットワークを導入する。
• 年齢系列の確率を表現するために統合エネルギー関数を用い、尤度推定が容易なエンドツーエンド学習を可能にする。
• 正規化フローの可逆的カップリング層を介して尤度の対数を直接最適化することで、固定の再構成損失を回避する。
• SDAPモデルは、被験者ごとの老化増分を予測するポリシー・ネットワークを学習し、長期的かつ被験者に特化した年齢進行を可能にする。
• 大規模な野生のデータベース（AGFW-v2など）を用いて訓練し、潜在空間モデリングにより高精細な顔の合成を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、非制約的環境における非線形的かつ被験者特有の老化プロセスをどのように効果的にモデル化できるか？
• RQ2 従来のオートエンコーダー基盤やGAN基盤の手法と比較して、正規化フロー（例：TNVP）を用いることで得られる主なアーキテクチャ的および学習上の利点は何か？
• RQ3 逆強化学習を用いて学習した被験者依存型老化ポリシーは、長期的な年齢進行およびクロスエイジ認識においてどの程度の向上効果をもたらすか？
• RQ4 現代の深層生成モデルは、従来のモデルベースや再構成ベースの手法と比較して、合成品質および認識精度の面でどの程度優れているか？
• RQ5 既存の老化データベースの限界は何か。AGFW-v2のような新規データセットは、それらの限界をどのように克服しているか？

主な発見

• TNVPベースのモデルは、潜在空間における可逆的かつフローに基づく変換を学習することで、高精細な顔の老化合成を実現し、正確な尤度計算と画像品質の向上を達成した。
• IRLと被験者特有の老化ポリシーを統合したSDAPモデルは、年齢進行の合成およびクロスエイジ顔認証の精度の両面で、TNVPや他のベースラインを上回った。
• Megafaceベンチマークにおいて、SDAPから生成された老化画像を用いることで、ベースライン手法と比較して顔認識の精度が最大15%向上した。
• 11の年齢グループにわたる36,000枚以上の野生の画像を含むAGFWおよびAGFW-v2データセットは、年齢進行モデルの訓練および評価に向けた大規模かつ公開可能なリソースを提供している。
• 提案されたモデルは、顔のアイデンティティの保持を従来の手法よりも優れた精度で維持し、被験者固有の老化パターンに対して頑健であることが示された。
• 合成された老化顔を顔認識パイプラインに統合することで、クロスエイジ検証タスクの性能が顕著に向上し、実世界のシステムにおける年齢進行モデルの有効性が裏付けられた。