[論文レビュー] Deep Learning Face Attributes in the Wild

Ziwei Liu, Ping Luo+2 more|arXiv (Cornell University)|Nov 28, 2014

Face recognition and analysis参考文献 25被引用数 103

ひとこと要約

本論文は、事前学習済みの一般物体および顔の識別タスクでそれぞれ事前学習した2つの畳み込みニューラルネットワーク（LNet と ANet）を共同で微調整する二ストリームの深層学習フレームワーク、LNets+ANet を提案する。LNet は画像レベルの属性タグを用いて弱教師付き顔局所化を、ANet は属性予測をそれぞれ行う。CelebA および LFWA で最先端の性能を達成し、先行研究より最大10%の精度向上を達成した。また、事前学習により意味的コンセプトが発見され、境界ボックスを必要とせずに局所化が可能であることが明らかになった。

ABSTRACT

Predicting face attributes in the wild is challenging due to complex face variations. We propose a novel deep learning framework for attribute prediction in the wild. It cascades two CNNs, LNet and ANet, which are fine-tuned jointly with attribute tags, but pre-trained differently. LNet is pre-trained by massive general object categories for face localization, while ANet is pre-trained by massive face identities for attribute prediction. This framework not only outperforms the state-of-the-art with a large margin, but also reveals valuable facts on learning face representation. (1) It shows how the performances of face localization (LNet) and attribute prediction (ANet) can be improved by different pre-training strategies. (2) It reveals that although the filters of LNet are fine-tuned only with image-level attribute tags, their response maps over entire images have strong indication of face locations. This fact enables training LNet for face localization with only image-level annotations, but without face bounding boxes or landmarks, which are required by all attribute recognition works. (3) It also demonstrates that the high-level hidden neurons of ANet automatically discover semantic concepts after pre-training with massive face identities, and such concepts are significantly enriched after fine-tuning with attribute tags. Each attribute can be well explained with a sparse linear combination of these concepts.

研究の動機と目的

• ポーズ、照明、遮蔽などの複雑な変動を伴う制約のない現実世界の画像における顔属性予測の課題に対処すること。
• トレーニング時に境界ボックスやランドマークを必要としない顔局所化と属性予測を可能にするフレームワークの開発。
• 大規模な物体カテゴリおよび顔識別タスクでの事前学習が、顔局所化および属性認識のための特徴学習にどのように寄与するかを調査すること。
• 局所的に共有されたフィルタのための新しい高速順方向処理スキームを用いて、任意サイズの入力画像に対する効率的でリアルタイムの推論を可能にすること。
• 事前学習および微調整中に深層ネットワークが暗黙的に学習する意味的コンセプトを解明すること。

提案手法

• LNet は ImageNet で一般物体認識のための事前学習を行い、顔局所化のための頑健な特徴を学習した後、境界ボックスを一切使用せずに画像レベルの属性タグでの微調整が行われる。
• ANet は大規模な顔識別データセットで事前学習され、顔識別に関連する特徴を学習した後、属性タグを用いた微調整により属性予測が行われる。
• 局所的に共有されたフィルタのための新しいインターリーブ型順方向処理により、パッチごとの評価を置き換え、冗長な計算を削減することで、任意サイズの入力画像に対する効率的な推論が可能になった。
• 顔局所化は、LNet のフィルタの応答マップを平均することで達成され、明示的な局所化の教師信号がなくても、顔の位置で強く空間的活性化が見られる。
• ANet の全結合層の重みのクラスタリングを通じて意味的コンセプトの発見が分析され、共起パターンや外見的特徴といった解釈可能な属性のグループ化が明らかになった。
• LNet が粗い顔領域の局所化を提供し、ANet が局所化された領域からの特徴を抽出して最終的な属性予測を行う、段階的なアーキテクチャを採用している。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスやランドマークを一切必要としない画像レベルの属性タグのみを用いて、顔局所化を効果的に学習できるか？
• RQ2 大規模な一般物体カテゴリでの事前学習が、弱教師付き設定における顔局所化性能にどのように寄与するか？
• RQ3 顔識別タスクで事前学習されたネットワーク（ANet）の高レベルニューロンが、性別、年齢、人種といった意味的コンセプトをどれほど自動的に発見できるか？
• RQ4 局所的に共有されたフィルタのための高速でワンパスの推論手法を設計でき、任意サイズの入力に対するリアルタイム処理を可能にするか？
• RQ5 新しいラベルの小さなサブセットで微調整した場合、提案フレームワークは未観測の属性にどれほど一般化できるか？

主な発見

• 提案された LNets+ANet フレームワークは CelebA で 87%、LFWA で 84% の精度を達成し、PANDA-l（81%）および FaceTracer（81%）を 3～10 パcentage points 以上上回った。PANDA-l ですら正解境界ボックスを使用しているにもかかわらず、この結果は顕著である。
• LNet は境界ボックスを一切使用せず、画像レベルのタグのみで顔局所化を実現した。その応答マップは顔の位置で効果的に局所化を示しており、弱教師付き学習でも頑健な局所化特徴が得られることを示している。
• ANet を大規模な顔識別タスクで事前学習することで、人種、性別、年齢といった意味的コンセプトが発見可能となり、属性微調整段階でさらに洗練された。
• ANet の全結合層の重み行列には解釈可能な属性グループ化が現れる。例えば、グループ #1 は「魅力的」と「濃い化粧」の強い共起性を示し、グループ #3 は色に基づく類似性を反映している。
• LFWA+ の 30 個の新しい属性に対してテストした結果、FaceTracer より 8%、PANDA-w より 10%、PANDA-l より 3% の平均精度向上を達成した。これは、優れた一般化性能を示している。
• 推論時間は 300×300 の画像で局所化に 35ms、特徴抽出に 14ms にまで短縮され、パッチごとの走査（80ms）を上回り、リアルタイム応用に適している。