[論文レビュー] Leveraging Mid-Level Deep Representations For Predicting Face Attributes in the Wild

Yang Zhong, Josephine Sullivan+1 more|arXiv (Cornell University)|Feb 4, 2016

Face recognition and analysis被引用数 8

ひとこと要約

本稿では、事前学習済み顔分類ネットワークから抽出した中間レベルの畳み込みニューラルネットワーク（CNN）特徴量を、制約のない環境下での顔属性予測に活用することを提案する。高レベルの全結合層の代わりに中間層（例：C3–C6）を用いることで、CelebA（89.8%）およびLFWA（85.9%）で最先端の精度を達成した。これは、中間レベルの特徴量が高レベルの抽象化よりも空間的詳細および局所的特徴パターンをよりよく保持していることを示しており、顔認識と属性予測の両方を効率的かつ統合的に処理できるモデルの実現に寄与する。

ABSTRACT

Predicting facial attributes from faces in the wild is very challenging due to pose and lighting variations in the real world. The key to this problem is to build proper feature representations to cope with these unfavourable conditions. Given the success of Convolutional Neural Network (CNN) in image classification, the high-level CNN feature, as an intuitive and reasonable choice, has been widely utilized for this problem. In this paper, however, we consider the mid-level CNN features as an alternative to the high-level ones for attribute prediction. This is based on the observation that face attributes are different: some of them are locally oriented while others are globally defined. Our investigations reveal that the mid-level deep representations outperform the prediction accuracy achieved by the (fine-tuned) high-level abstractions. We empirically demonstrate that the midlevel representations achieve state-of-the-art prediction performance on CelebA and LFWA datasets. Our investigations also show that by utilizing the mid-level representations one can employ a single deep network to achieve both face recognition and attribute prediction.

研究の動機と目的

• 実世界の変動にさらされる状況下で、事前学習済みCNNの中間レベル表現が顔属性予測に高レベル特徴量を上回る性能を示すかどうかを調査すること。
• 階層的特徴量を用いて、1つの深層ネットワークが同時に顔認識と属性予測を効果的に行えるかどうかを特定すること。
• 異なるネットワーク層における表現品質、計算効率、空間情報の保持度のトレードオフを評価すること。
• 特定の顔部の属性に関連する、コンactな局所的表現（例：C6からのもの）が、属性予測に適しているかどうかを検討すること。
• 顔属性予測のためのネットワーク全体を微調整せずに、中間レベル特徴量が最先端性能を上回ることを実証すること。

提案手法

• WebFaceデータセットの35万枚の画像を用いて、PReLU活性化関数、ドロップアウト（0.5）、データ拡張（反転、ジターリング、回転）を適用した顔分類CNNを微調整した。
• 学習済みCNNの複数層（C2～F2）から階層的特徴量を抽出し、畳み込み層（C2～C6）および全結合層（F1、F2）を含めた。
• CelebAおよびLFWAデータセットで40の顔属性を予測するために、各層の特徴量上で線形分類器（SVMやロジスティック回帰など）を訓練した。
• 全属性の平均精度を用いて性能を評価し、異なる層間での結果を比較することで最適な表現レベルを同定した。
• 入力サイズのスケーリング（解像度を2倍に）を検討し、小さなスケールの属性予測（例：「目元のくま」）に与える影響を評価した。
• 「ネクタイを着用している」などの空間的分布が明確な属性に対して、C6層のコンパクトな表現（3×2×256）を分析し、メモリと精度のトレードオフを検証した。

実験結果

リサーチクエスチョン

• RQ1 制約のない条件下で、中間レベルのCNN特徴量（例：C3–C6）は高レベル特徴量（例：F1、F2）を上回り、顔属性を予測する上で優れているか？
• RQ2 顔分類を目的とした1つの深層ネットワークを、中間層特徴量を用いることで、効果的に属性予測に再利用できるか？
• RQ3 異なる層の空間解像度および受容野サイズは、「眼鏡」や「ひげ」などの局所的属性の予測にどのように影響するか？
• RQ4 コンパクトで局所的な表現（例：C6からのもの）は、メモリと計算コストを削減しながらも高い精度を維持できるか？
• RQ5 入力画像の解像度は、特に「目元のくま」のような微細な特徴に対して、属性予測精度にどのような影響を与えるか？

主な発見

• 中間レベル表現（C3–C6）は、CelebAで平均精度89.8%を達成し、以前の最先端（SOTA）の87%を上回った。
• LFWAデータセットでは、中間レベル特徴量が85.9%の平均精度を達成し、以前のSOTAの84%を上回った。
• 入力サイズを2倍にした際、C3層が「目元のくま」の予測で最高の精度83.63%を記録し、空間的詳細への感受性が示された。
• C6層（3×2×256）は、局所的に定義された属性に対して平均89.3%の精度を維持し、顕著な性能低下なしにメモリ効率の良い表現を実現した。
• 高レベル特徴量（F1、F2）は計算コストが高く、局所的属性の予測にはあまり効果的でなかったが、中間レベル特徴量は属性識別に不可欠な空間的構造を保持していた。
• 本研究では、1つの顔分類CNNが階層的特徴量を用いることで、顔認識と属性予測の両方をサポートできることを実証した。これにより、モデルの複雑さと学習のオーバーヘッドが削減された。