[論文レビュー] VEGAC: Visual Saliency-based Age, Gender, and Facial Expression Classification Using Convolutional Neural Networks.

Ayesha Gurnani, Vandit Gajjar+2 more|arXiv (Cornell University)|Mar 13, 2018

Face recognition and analysis被引用数 7

ひとこと要約

VEGAC は、複数のベンチマークデータセット上で視覚的注目度と微調整された VGG-16 CNN を用いた、顔の属性を同時に分類するマルチタスク手法を提案する。切り抜き顔からの注目度に配慮した特徴抽出を活用することで、年齢推定、性別分類、顔の表情認識において競争力ある性能を達成する。

ABSTRACT

This paper explores the use of Visual Saliency to Classify Age, Gender and Facial Expression for Facial Images. For multi-task classification, we propose our method VEGAC, which is based on Visual Saliency. Using the Deep Multi-level Network [1] and off-the-shelf face detector [2], our proposed method first detects the face in the test image and extracts the CNN predictions on the cropped face. The CNN of VEGAC were fine-tuned on the collected dataset from different benchmarks. Our convolutional neural network (CNN) uses the VGG-16 architecture [3] and is pre-trained on ImageNet for image classification. We demonstrate the usefulness of our method for Age Estimation, Gender Classification, and Facial Expression Classification. We show that we obtain the competitive result with our method on selected benchmarks. All our models and code will be publically available.

研究の動機と目的

• 視覚的注目度を用いた統合的深層学習フレームワークを構築し、同時に年齢、性別、顔の表情分類を実現すること。
• 事前学習済み CNN と注目度ベースの特徴選択を統合することで、マルチタスク顔属性認識の性能を向上させること。
• 微調整された VGG-16 アーキテクチャを用いて、ベンチマークデータセットで最先端の性能を示すこと。
• 公開された訓練済みモデルとソースコードを提供することで、実用的かつ容易なデプロイメントを可能にすること。

提案手法

• 入力画像内の顔を局所化するために、市販の顔検出器を用いて顔検出を実施する。
• ImageNet で事前学習済みの VGG-16 CNN アーキテクチャに、切り抜き顔領域を入力して転移学習を実行する。
• 複数の公開ベンチマークを統合した収集済みデータセット上で、マルチタスク学習のための CNN を微調整する。
• 視覚的注目度マップを用いて特徴抽出と分類をガイドし、関連する顔領域にモデルの注目を集中させる。
• 年齢、性別、表情タスクのすべてにおいて表現学習を向上させるために、ディープマルチレベルネットワークからのマルチレベル特徴を活用する。
• タスク固有のヘッドを備えた共有バックボーンネットワークにより、3 つの分類タスクを統合的に最適化する。

実験結果

リサーチクエスチョン

• RQ1 視覚的注目度は、マルチタスク顔属性分類の性能を向上させることができるか？
• RQ2 複数のベンチマークデータセット上で事前学習済みの VGG-16 モデルを微調整することで、年齢、性別、表情分類の精度にどのような影響を与えるか？
• RQ3 注目度ガイドド特徴抽出は、モデルのロバストネスと一般化性能をどの程度向上させるか？
• RQ4 提案された VEGAC フレームワークは、既存の最先端手法と比較して競争力のある結果を達成できるか？

主な発見

• VEGAC は、年齢推定、性別分類、顔の表情認識のベンチマークデータセットで競争力ある性能を達成する。
• 複数のベンチマークデータセット上で VGG-16 モデルを微調整することで、3 つの顔属性分類タスクにおける一般化性能が向上する。
• 視覚的注目度の統合により、判別力のある顔領域に注目した特徴学習が促進される。
• 本手法は、タスク固有のアーキテクチャを必要とせず、多様な顔属性に対して優れた性能を示す。
• すべての訓練済みモデルとソースコードは、再現性とさらなる研究を目的に公開されている。