[論文レビュー] Peak-Piloted Deep Network for Facial Expression Recognition

Xiangyun Zhao, Xiaodan Liang+5 more|arXiv (Cornell University)|Jul 24, 2016

Emotion and Mood Recognition参考文献 31被引用数 24

ひとこと要約

本稿では、顔の表情認識のためのピーク・パイロテッド・ディープネットワーク（PPDN）を提案する。この手法は、ピーク表現のサンプルからの特徴応答を用いて非ピーク表現の特徴を監視することで、表現の強度に不変な特徴をネットワークに埋め込む。新規のピーク勾配抑制（PGS）バックプロパゲーション手法を用いることで、Oulu-CASIAおよびCK+データセットにおいて認識精度が向上し、最先端の手法を上回り、Multi-PIEにおけるポーズ不変性顔認識にも効果的に一般化される。

ABSTRACT

Objective functions for training of deep networks for face-related recognition tasks, such as facial expression recognition (FER), usually consider each sample independently. In this work, we present a novel peak-piloted deep network (PPDN) that uses a sample with peak expression (easy sample) to supervise the intermediate feature responses for a sample of non-peak expression (hard sample) of the same type and from the same subject. The expression evolving process from non-peak expression to peak expression can thus be implicitly embedded in the network to achieve the invariance to expression intensities. A special purpose back-propagation procedure, peak gradient suppression (PGS), is proposed for network training. It drives the intermediate-layer feature responses of non-peak expression samples towards those of the corresponding peak expression samples, while avoiding the inverse. This avoids degrading the recognition capability for samples of peak expression due to interference from their non-peak expression counterparts. Extensive comparisons on two popular FER datasets, Oulu-CASIA and CK+, demonstrate the superiority of the PPDN over state-ofthe-art FER methods, as well as the advantages of both the network structure and the optimization strategy. Moreover, it is shown that PPDN is a general architecture, extensible to other tasks by proper definition of peak and non-peak samples. This is validated by experiments that show state-of-the-art performance on pose-invariant face recognition, using the Multi-PIE dataset.

研究の動機と目的

• 視覚的に類似しており、区別が難しい微弱で低強度の顔の表情を認識する課題に対処すること。
• 非ピークからピーク表現への自然な発展をモデル化することで、表現強度の変動に対するモデルのロバスト性を向上させること。
• 非ピーク表現の対応する特徴による監視によってピーク表現の認識性能が低下することを回避する訓練戦略の開発。
• ピークおよび非ピークサンプルを再定義することで、顔の表情認識を超えた他の認識タスクへもフレームワークを一般化すること。

提案手法

• PPDNは、同一の被験者および同一の表情タイプのペアドサンプル（ピーク（容易）および非ピーク（困難）表現）を用いる。
• 非ピークおよびピーク表現サンプルの隠れ層特徴マップ間のL2ノルム差を最小化することで、表現の進化を埋め込む。
• ピークサンプルの勾配を非ピーク特徴最適化中に抑制する新しいバックプロパゲーション手順、ピーク勾配抑制（PGS）を導入する。
• PGS勾配は、特徴差損失の全勾配の負の値として導出され、勾配の下降方向を保証するとともに、ピークサンプルの勾配による干渉を回避する。
• 2つの目的を同時に最適化する：ピーク・パイロテッド特徴変換（L2損失）と表情認識（交差エントロピー損失）。
• アーキテクチャは一般化可能である：例えば、正面顔をピーク、側顔を非ピークと再定義することで、ポーズ不変性顔認識に応用可能である。

実験結果

リサーチクエスチョン

• RQ1 非ピークからピーク表現への表現の進化をモデル化することで、微弱で低強度の顔の表情の認識が向上するか？
• RQ2 ピーク表現の特徴を非ピーク特徴の監視に用いることで、表現強度への不変性が向上するが、ピーク表現の性能が低下しないか？
• RQ3 提案されたピーク勾配抑制（PGS）手法は、ピークサンプルの勾配による悪影響を回避しながら、効果的に学習をガイドできるか？
• RQ4 PPDNフレームワークは、顔の表情認識を越えて他の認識タスクへどの程度一般化可能か？

主な発見

• Oulu-CASIAおよびCK+データセットにおいて、PPDNは顔の表情認識で最先端の性能を達成し、既存の最先端手法を上回る。
• Multi-PIEのポーズ不変性顔認識において、PPDNは「設定1」でハードポーズ（−45°および45°）で97.98%の精度を達成し、GoogLeNetベースラインの95.99%を上回る。
• Multi-PIEの「設定2」において、PPDNは平均83.22%の精度を達成し、GoogLeNetベースライン（74.84%）および4つの最先端ベースラインを2.52ポイント上回る。
• PGS手法により、損失関数の下降方向が保証されることが解析的に示され、安定的かつ効果的な学習を支援する。
• フレームワークは良好に一般化可能である：正面顔をピーク、側顔を非ピークとみなすことにより、PPDNはポーズ変動に対するロバスト性を向上させる暗黙の変換を学習する。
• 実験的結果により、特徴変換と認識損失の共同最適化が、弱い表現のための識別能を向上させることを確認した。