[論文レビュー] Reconstruction-Based Disentanglement for Pose-invariant Face Recognition

Xi Peng, Yu Xiang+3 more|arXiv (Cornell University)|Feb 10, 2017

Face recognition and analysis被引用数 22

ひとこと要約

本論文は、正面顔から多様なポーズ変化を生成し、顔の識別情報とポーズ特徴を新しい特徴再構成メトリック学習を用いて分離する再構成ベースの分離手法を提案する。この手法は最先端の性能を達成し、MultiPIE、300WLP、CFPの各データセットで大規模なポーズ変動下において、顔認識の正確性を2%から12%向上させる。訓練データに多数のポーズデータが存在しない状況でも同様の効果を示す。

ABSTRACT

Deep neural networks (DNNs) trained on large-scale datasets have recently achieved impressive improvements in face recognition. But a persistent challenge remains to develop methods capable of handling large pose variations that are relatively underrepresented in training data. This paper presents a method for learning a feature representation that is invariant to pose, without requiring extensive pose coverage in training data. We first propose to generate non-frontal views from a single frontal face, in order to increase the diversity of training data while preserving accurate facial details that are critical for identity discrimination. Our next contribution is to seek a rich embedding that encodes identity features, as well as non-identity ones such as pose and landmark locations. Finally, we propose a new feature reconstruction metric learning to explicitly disentangle identity and pose, by demanding alignment between the feature reconstructions through various combinations of identity and pose features, which is obtained from two images of the same subject. Experiments on both controlled and in-the-wild face datasets, such as MultiPIE, 300WLP and the profile view database CFP, show that our method consistently outperforms the state-of-the-art, especially on images with large head pose variations. Detail results and resource are referred to https://sites.google.com/site/xipengcshomepage/iccv2017

研究の動機と目的

• 訓練データに十分なポーズ多様性が欠如している状況下でも、顔認識の性能を維持する課題に対処すること。
• 推論時にポーズアノテーションを必要とせず、学習された特徴表現における識別情報とポーズ要因を分離すること。
• 制御された環境から屋外環境へのドメインシフトが生じるようなデータセット間での一般化性能を向上させること。
• 正面入力から非正面顔画像を現実的かつ多様に生成するデータ拡張戦略を開発すること、訓練データの多様性を高めること。

提案手法

• 顔生成ネットワークが単一の正面顔画像から多様なポーズ変化を合成し、追加のラベルなしに訓練データを豊かにすること。
• 識別認識、ポーズ推定、ランドマーク位置特定を同時に最適化する共同学習フレームワークを採用し、多要因特徴埋め込みを学習すること。
• 自己再構成損失により、自身の識別特徴と非識別特徴を用いて基準画像を再構成することで、構造的一致性を保持する。
• クロス再構成損失により、基準画像の非識別特徴とプローブ画像の識別特徴を組み合わせ、異なるポーズ間での識別的一致性を強制する。
• 再構成ベースのメトリック学習により、識別-ポーズ組み合わせの再構成誤差を最小化することで、識別とポーズの成分を明確に分離する。
• 再構成損失を用いたシアン型アーキテクチャにより、識別特徴をポーズ変動に対して頑健にする正則化を実現する。

実験結果

リサーチクエスチョン

• RQ1 正面顔画像からの顔生成によるデータ拡張は、ポーズ不変顔認識における一般化性能の向上に寄与するか？
• RQ2 識別、ポーズ、ランドマークの共同学習は、分離可能な特徴表現を効果的に得られるか？
• RQ3 再構成ベースのメトリック学習は、直接的な距離最小化を上回る性能を示すか？
• RQ4 制御された環境から屋外環境へのドメインシフトが生じるデータセット間でも、モデルは一般化できるか？
• RQ5 訓練データに大規模なポーズ変動が欠如している状況でも、本手法は大規模なポーズ変動に対して頑健であるか？

主な発見

• 本手法は、CFPデータセットで大規模なポーズ変動下において、VGGFaceに比べて顔認識正確性を12%向上させる。
• 300WLPデータセットでは、CASIAおよびMultiPIEで学習したモデルがVGGFaceに比べ7.2%の正確性向上を達成し、優れた一般化性能を示す。
• MSMT+SRモデル（再構成正則化付き）は、MultiPIEでVGGFaceに比べ2.8%向上、300WLPで6.6%向上し、ドメインをまたがる頑健性を確認した。
• クロスデータベース評価では一貫した性能低下（例：300WLPで7%）が見られるが、ベースラインに比べ顕著な性能向上を示し、一般化能力を裏付ける。
• MSMTやMSMT†といった強力なベースラインを上回り、特に大規模なポーズ変動下で顕著な性能向上を示しており、再構成ベースの分離の有効性を実証した。
• N-pair損失と再構成損失を併用することで優れた性能が得られ、メトリック学習が直接的な距離最小化よりも分離に有効であることを示した。