[論文レビュー] A Jointly Learned Deep Architecture for Facial Attribute Analysis and Face Detection in the Wild

Keke He, Yanwei Fu+1 more|arXiv (Cornell University)|Jul 27, 2017

Face recognition and analysis参考文献 34被引用数 11

ひとこと要約

この論文は、自然な画像（野生の状況下）から直接顔検出と顔貌的特徴予測をエンド・ツー・エンドで行う、共同学習された深層アーキテクチャを提案する。入力として切り抜きやアライメント処理を必要とせず、顔検出と特徴分析の両方で共通の初期畳み込み特徴を活用することで、両タスクの性能が向上し、CelebAおよびLFWAデータセットで最先端の性能を達成した。性別予測の誤差率は1.7%であり、HyperFaceより1.3%優れている。

ABSTRACT

Facial attribute analysis in the real world scenario is very challenging mainly because of complex face variations. Existing works of analyzing face attributes are mostly based on the cropped and aligned face images. However, this result in the capability of attribute prediction heavily relies on the preprocessing of face detector. To address this problem, we present a novel jointly learned deep architecture for both facial attribute analysis and face detection. Our framework can process the natural images in the wild and our experiments on CelebA and LFWA datasets clearly show that the state-of-the-art performance is obtained.

研究の動機と目的

• 既存の顔貌的特徴分析手法が、事前に処理された切り抜き済み・アライメント済み顔画像に依存するという制限を解消すること。
• ポーズ、遮蔽、照明の変動がある制御のきかない環境において、属性予測が顔検出器の品質に依存する問題を克服すること。
• 顔検出と顔貌的特徴予測の間に内在する相関関係を活用し、相互に性能向上を図ること。
• 顔のアライメント処理を事前に不要とすることで、野生の状況下の生の未処理画像から直接顔貌的特徴を予測すること。
• エンド・ツー・エンドの共同学習により、CelebAやLFWAといったベンチマークデータセットで最先端の性能を達成すること。

提案手法

• モデルは、生の画像から特徴を抽出するための共有畳み込みバックボーン（conv1–conv5）を用い、両タスクの共同学習を可能にする。
• 最終特徴マップ上の顔候補領域に、領域の特徴を抽出するための領域の特徴（RoI）プーリングを適用し、固定長のベクトルを生成する。
• 顔領域候補層が、検出のための候補領域を生成することで、ネットワークが顔の位置に注目できるようにする。
• 共有特徴の上に、顔検出と顔貌的特徴予測を同時に最適化する2つの別々のサブネットワーク（fc6, fc7）を構築する。
• 検出と属性分類の目的関数を組み合わせたマルチタスク損失関数を用いて、エンド・ツー・エンドでモデルを訓練する。
• 顔が部分的遮蔽や姿勢のずれがある場合でも、共有特徴を活用することで、検出と属性予測の両方の性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 制約のない環境下で、顔検出と顔貌的特徴分析の共同学習が、両タスクの性能向上に寄与するか？
• RQ2 画像の切り抜きやアライメント処理を排除することで、現実世界の顔貌的特徴予測における一般化性能が向上するか？
• RQ3 ポーズ、遮蔽、照明の変動に対するモデルのロバスト性は、顔検出と属性予測の相関関係によってどのように向上するか？
• RQ4 1つのエンド・ツー・エンドの深層ネットワークが、検出と属性分析に別々のモデルを用いるパイプライン手法を上回るか？
• RQ5 どのような状況下で、属性予測が顔検出の性能向上に寄与するか？

主な発見

• 提案モデルは、CelebAデータセットにおける性別属性予測で1.7%の誤差率を達成し、HyperFaceより1.3%優れている。
• CelebAデータセットにおいて、ベースラインの切り抜き・アライメント済みモデルと比較して、40個の顔貌的特徴のうち27個で分類誤差が低減された。
• 共同学習フレームワークは、CelebAにおける顔検出でAUC 0.982を達成し、Dlib検出器（AUC 0.938）を上回った。
• 定量的な比較において、CelebAデータセットの全40属性で、最先端の手法と比較して優れた性能を示した。
• 定性的な分析から、大きなポーズ変化や遮蔽がある場合でも、共有特徴マップが顔の重要な領域に強く反応することが確認された。
• 外部データや画像アライメントなどの前処理ステップを一切不要とすることで、CelebAおよびLFWAデータセットで最先端の結果を達成した。