[論文レビュー] Face Attribute Prediction with classification CNN.

Yang Zhong, Josephine Sullivan+1 more|arXiv (Cornell University)|Feb 4, 2016

Face recognition and analysis参考文献 15被引用数 7

ひとこと要約

本論文では、顔の属性予測において高レベル特徴の代わりに中間レベルの畳み込みニューラルネットワーク（CNN）特徴を用いることを提案し、これらの中間表現が局所的および全体的な属性特性をよりよく捉えられることを示している。このアプローチは、CelebAおよびLFWAデータセットで最先端の性能を達成し、1つのディープネットワークが顔認識と属性予測の両方を実行可能にしている。

ABSTRACT

Predicting facial attributes from faces in the wild is very challenging due to pose and lighting variations in the real world. The key to this problem is to build proper feature representations to cope with these unfavorable conditions. Given the success of convolutional neural network (CNN) in image classification, the high-level CNN feature as an intuitive and reasonable choice has been widely utilized for this problem. In this paper, however, we consider the mid-level CNN features as an alternative to the high-level ones for attribute prediction. This is based on the observation that face attributes are different: some of them are locally oriented while others are globally defined. Our investigations reveal that the mid-level deep representations outperform the prediction accuracy achieved by the high-level abstractions. We demonstrate that the mid-level representations achieve state-of-the-art prediction performance on CelebA and LFWA datasets. Our investigations also show that by utilizing the mid-level representations one can employ a single deep network to achieve both face recognition and attribute prediction.

研究の動機と目的

• ポーズや照明の変動といった現実世界の変化にさらされた状況下でも顔の属性予測の課題に対処すること。
• 中間レベルのCNN特徴が、属性予測において高レベル特徴よりも優れているかどうかを調査すること。
• 顔認識と属性予測の両方を実行可能な統合されたディープラーニングフレームワークを構築すること。
• 局所的および全体的な属性意味を捉える特徴表現を活用することで、予測精度を向上させること。

提案手法

• この手法は、高レベル特徴抽出で用いられる最終全結合層ではなく、中間層からの特徴を抽出する畳み込みニューラルネットワーク（CNN）を用いる。
• 中間レベル特徴は、局所的な顔の部品（例：目、鼻）や広範な顔の構造を表現できる能力に基づいて選択される。
• CelebAおよびLFWAデータセットで、二値交差エントロピー損失関数を用いて、属性予測のためのエンドツーエンド学習が実施される。
• マルチタスク学習を用いて、1つのディープネットワークを顔認識と属性予測の両タスクに対して同時に最適化する。
• 特徴の可視化とアブレーションスタディを用いて、中間レベル特徴の表現品質を検証する。
• モデルアーキテクチャは標準的なCNNバックボーンに基づき、属性予測のための中間レベル特徴マップに分類ヘッドを適用する。

実験結果

リサーチクエスチョン

• RQ1 現実世界の変化にさらされた状況下でも、中間レベルのCNN特徴は高レベル特徴を上回る性能を発揮するか？
• RQ2 中間レベルの表現は、局所的および全体的な顔の属性を効果的にモデル化できるか？
• RQ3 中間レベル特徴を用いて、1つのディープネットワークで顔認識と属性予測の両方を学習可能か？
• RQ4 高レベルの抽象化と比較して、中間レベル特徴が予測精度に果たす相対的寄与度はいかほどか？

主な発見

• 中間レベルのCNN特徴は、顔の属性予測においてCelebAおよびLFWAデータセットで最先端の性能を達成した。
• 本手法は、高レベルCNN特徴を用いるモデルを上回り、特に局所的依存性が強い属性において顕著な向上を示した。
• 中間レベル表現の使用により、1つのディープネットワークが顔認識と属性予測を統合的に実行可能となり、効率が向上した。
• 実証的結果から、中間レベル特徴は局所的および全体的な顔の属性の判別的パターンをよりよく捉えていることが示された。
• アブレーションスタディの結果、高レベル特徴と比較して、中間レベル特徴は多様な属性タイプにわたるよりバランスの取れた表現を提供することが確認された。