[論文レビュー] Face Attribute Prediction Using Off-The-Shelf Deep Learning Networks

Yang Zhong, Josephine Sullivan+1 more|arXiv (Cornell University)|Feb 12, 2016

Face recognition and analysis参考文献 15被引用数 4

ひとこと要約

本稿では、顔属性予測における顔特徴抽出に、事前学習済みで市販の深層畳み込みニューラルネットワーク（CNN）を活用し、従来の顔局所化技術と組み合わせることを提案する。LFWAおよびCeleAデータセット上で、事前学習モデルからのマルチレベルCNN特徴を活用することで、最先端の2段階CNNパイプラインと同等の性能を達成した。これは、深層表現の再利用と、古典的ビジョン技術とディープラーニングの統合の可能性を示している。

ABSTRACT

Attribute prediction from face images in the wild is a challenging problem. To automatically describe face attributes from face containing images, traditionally one needs to cascade three technical blocks --- face localization, facial feature extraction, and classification --- in a pipeline. As a typical classification problem, face attribute prediction has been addressed by using deep learning networks. Current state-of-the-art performance was achieved by using two cascaded CNNs, which were specifically trained to learn face localization and facial attribute prediction. In this paper we experiment in an alternative way of exploring the power of deep representations from the networks: we employ off-the-shelf CNNs trained for face recognition tasks to do facial feature extraction, combined with conventional face localization techniques. Recognizing that the describable face attributes are diverse, we select representations from different levels of the CNNs and investigate their utilities for attribute classification. Experiments on two large datasets, LFWA and CeleA, show that the performance is totally comparable to state-of-the-art approach. Our findings suggest two potentially important questions in using CNNs for face attribute prediction: 1) How to maximally leverage the power of CNN representations. 2) How to best combine traditional computer vision techniques with deep learning networks.

研究の動機と目的

• 事前学習済みの深層CNN（顔認識を目的として訓練されたもの）が、顔属性予測のための特徴抽出に効果的に機能するかどうかを調査すること。
• 事前学習CNNの異なる層から抽出された特徴の、属性分類における有効性を評価すること。
• 専用の2段階CNNパイプラインと比較して、市販アプローチの性能を評価すること。
• 古典的コンピュータビジョン技術（例：顔局所化）とディープラーニング表現の統合を検討すること。
• 顔属性予測タスクにおいて、事前学習CNN表現を最大限に活用するという、より広範な課題に取り組むこと。

提案手法

• 顔認識を目的として事前学習された深層CNN（元々は顔認識用に訓練されたもの）を、顔属性のための特徴抽出器として利用すること。
• CNNの中間層複数から深層特徴を抽出し、階層的表現を捉えること。
• 特徴抽出の前に顔を検出するために、従来の顔局所化技術（例：MTCNNまたは類似手法）を適用すること。
• 抽出されたCNN特徴に基づいて、従来の分類器（例：SVMまたはロジスティック回帰）を訓練し、属性予測を行うこと。
• 標準的な属性予測指標を用いて、LFWAおよびCeleAの2つのベンチマークデータセットで性能を評価すること。
• 異なるネットワーク層が属性分類性能にどのように寄与しているかを分析すること。

実験結果

リサーチクエスチョン

• RQ1 顔認識を目的として訓練された市販の事前学習CNNが、顔属性予測のための判別的特徴を効果的に抽出できるか？
• RQ2 事前学習CNNの異なる深さの特徴が、属性分類性能にどのように寄与するか？
• RQ3 単一層の特徴と比較して、マルチレベルCNN特徴を使用することでどの程度の性能向上が得られるか？
• RQ4 従来の顔局所化とディープラーニング特徴を組み合わせた手法と、エンドツーエンドで訓練された2段階CNNとでは、性能にどのような差が出るか？
• RQ5 異なる顔属性予測タスクにおいて、深層表現を再利用する際の主な課題は何か？

主な発見

• 市販のCNNを用いた本手法は、LFWAおよびCeleAデータセットの両方で、最先端の2段階CNNパイプラインと同等の性能を達成した。
• 事前学習CNNの複数の層からの特徴は、属性予測に異なる寄与を示し、ミドルからディープ層がより強い判別力を持つことがわかった。
• 従来の顔局所化とディープ特徴の統合により、属性予測のロバスト性と一貫性が向上した。
• 本研究では、微調整なしに顔認識モデルから得た事前学習表現が、顔属性予測に非常に高い汎用性を持つことが示された。
• ネットワーク層の適切な選択が、ネットワークの再訓練なしに分類精度を顕著に向上させられることを示唆している。