[論文レビュー] Probabilistic Attribute Tree in Convolutional Neural Networks for Facial Expression Recognition

Jie Cai, Zibo Meng+4 more|arXiv (Cornell University)|Dec 17, 2018

Face and Expression Recognition参考文献 52被引用数 20

ひとこと要約

本論文は、性別、人種、年齢などのアイデンティティ関連属性を階層的ツリー構造を用いて明示的にモデル化することで、顔の感情認識におけるクラス内変動を低減する、新しい深層学習フレームワークである確率的属性ツリーCNN（PAT-CNN）を提案する。サンプルをツリーのノードに確率的に割り当て、属性ラベル付きの半教師あり戦略を用いてリーフノードで感情分類器を訓練することで、PAT-CNNは1つのモデルで制約のないデータセット（SFEWなど）において最先端の性能を達成し、数100のネットワークを用いたアンサンブル手法を上回った。

ABSTRACT

In this paper, we proposed a novel Probabilistic Attribute Tree-CNN (PAT-CNN) to explicitly deal with the large intra-class variations caused by identity-related attributes, e.g., age, race, and gender. Specifically, a novel PAT module with an associated PAT loss was proposed to learn features in a hierarchical tree structure organized according to attributes, where the final features are less affected by the attributes. Then, expression-related features are extracted from leaf nodes. Samples are probabilistically assigned to tree nodes at different levels such that expression-related features can be learned from all samples weighted by probabilities. We further proposed a semi-supervised strategy to learn the PAT-CNN from limited attribute-annotated samples to make the best use of available data. Experimental results on five facial expression datasets have demonstrated that the proposed PAT-CNN outperforms the baseline models by explicitly modeling attributes. More impressively, the PAT-CNN using a single model achieves the best performance for faces in the wild on the SFEW dataset, compared with the state-of-the-art methods using an ensemble of hundreds of CNNs.

研究の動機と目的

• 年齢、人種、性別などのアイデンティティ関連属性によって引き起こされる顔の感情認識における大きなクラス内変動に対処すること。
• これらの属性の影響を最小限に抑えるために、階層的クラスタリングを用いて表情関連特徴を学習する深層学習フレームワークの開発。
• 属性ラベル付きデータが限られている状況でも、表情ラベル付きと属性ラベル付きの両方のサンプルを活用する半教師あり戦略により、効果的な学習を可能にすること。
• 従来のCNNが高すぎる被験者変動のため苦戦する、制約のない現実世界の顔の感情認識データセットにおける性能向上。

提案手法

• CNNの最終プーリング層の直後に、アイデンティティ属性に基づいて特徴を階層的ツリーに整理する新しい確率的属性ツリー（PAT）モジュールを挿入する。
• ツリーの各ノードは、親ノードからの特徴を特定の属性（例：性別や人種）に基づいてクラスタリングし、クラスタ中心を新しいPAT損失関数を用いて更新する。
• 特徴の類似度に基づいて、サンプルがツリーのすべてのノードに確率的に割り当てられ、複数の属性状態にわたる重み付き特徴学習が可能になる。
• 表情関連特徴はツリーのリーフノードから抽出され、これらの特徴で訓練された分類器の重み付き和によって最終分類器が構築される。
• 半教師あり学習戦略が採用される：PAT損失は属性ラベル付きのサンプルのみを用いてクラスタ中心を最適化するが、表情損失はすべての表情ラベル付きサンプルを用いて最終分類器を訓練する。
• バックプロパゲーション中に、特徴とその割り当てられたクラスタ中心との距離を最小化することで、意味的に整合性のあるクラスタ形成をPAT損失関数が保証する。

実験結果

リサーチクエスチョン

• RQ1 階層的で属性に基づくクラスタリング機構は、CNNにおけるアイデンティティ関連の変動が顔の感情認識に与える影響を軽減できるか？
• RQ2 アイデンティティ属性のラベルが一部のデータにしか付与されていない状況で、深層学習モデルが表情関連特徴を効果的に学習できるか？
• RQ3 属性ノードへのサンプルの確率的割り当ては、制約のない顔の感情認識データセットにおける汎化性能と性能向上に寄与するか？
• RQ4 1つのモデルであるPAT-CNNは、SFEWのような現実世界の顔の感情認識ベンチマークで、アンサンブルベースの最先端手法を上回るか？

主な発見

• SFEWデータセットにおいて、性別と人種属性を有するPAT-VGGはテストセットで62.90％の正確度を達成し、最良のアンサンブルベース手法（61.6％）およびすべての単一モデルベースラインを上回った。
• 同じ属性を有するPAT-ResNetは62.10％のテスト正確度を達成し、ベースラインのResNet（56.72％）および他の単一モデル手法を上回った。
• PAT-CNNは、単一のモデルでSFEWデータセットにおいて最先端の性能を達成したが、次に優れた手法は数100のネットワークを用いたアンサンブルを必要としていた。
• RAF-DBおよびBU-3DFEデータセットでも、PAT-CNNはベースラインのVGGおよびResNetモデルを上回り、ポーズ付きおよびスパイケーション表情データセットの両方で一貫した向上を示した。
• 半教師あり学習戦略により、属性ラベル付きデータが限られている状況でも効果的な活用が可能となり、すべてのサンプルに完全な属性ラベルを付与する必要がなかった。
• PAT損失関数は、特徴の分離性と認識正確度の向上によって、意味的に整合性のあるクラスタ形成が成功したことを裏付けた。