[論文レビュー] Island Loss for Learning Discriminative Features in Facial Expression Recognition

Jie Cai, Zibo Meng+4 more|arXiv (Cornell University)|Oct 9, 2017

Emotion and Mood Recognition被引用数 13

ひとこと要約

本稿では、顔の感情認識における特徴の判別力学習を向上させるために、クラス内変動の低減とクラス間分離性の向上を同時に実現する、新規のアライアンス損失（IL）を提案する。IL-CNNモデルは、ソフトマックス損失と併用して学習され、CK+、MMI、CASIA、SFEWを含む4つのベンチマークデータセットで最先端の性能を達成した。これは、埋め込み空間において特徴クラスタが凝縮され、明確に分離された形で形成されたことによるものである。

ABSTRACT

Over the past few years, Convolutional Neural Networks (CNNs) have shown promise on facial expression recognition. However, the performance degrades dramatically under real-world settings due to variations introduced by subtle facial appearance changes, head pose variations, illumination changes, and occlusions. In this paper, a novel island loss is proposed to enhance the discriminative power of the deeply learned features. Specifically, the IL is designed to reduce the intra-class variations while enlarging the inter-class differences simultaneously. Experimental results on four benchmark expression databases have demonstrated that the CNN with the proposed island loss (IL-CNN) outperforms the baseline CNN models with either traditional softmax loss or the center loss and achieves comparable or better performance compared with the state-of-the-art methods for facial expression recognition.

研究の動機と目的

• ポーズ、照明、遮蔽の変化といった現実世界の条件下で顕著なクラス内変動とクラス間類似性を緩和すること。
• 畳み込みニューラルネットワーク（CNN）が学習する深層特徴の判別力を向上させるために、クラス内分散を明示的に低減し、クラス間距離を拡大すること。
• 補助構造や複雑なアーキテクチャに依存せずに、特徴の凝縮性と分離性を向上させる汎用的な損失関数の開発。
• 提案された損失の有効性を、ポーズ付きおよび自発的顔の感情データベース、特に挑戦的なSFEWデータセットにおいて検証すること。

提案手法

• アライアンス損失（IL）は、クラス内変動を低減するためのクラス中心への特徴の引き寄せと、クラス間距離を拡大するためのクラス中心同士の押し離しを同時に最適化する目的関数として設計されている。
• ILはCNNの2番目の全結合層に適用され、最終分類層では標準的なソフトマックス損失が使用され、両者の共同最適化が可能になっている。
• 損失関数は、コサイン類似度を指標として用い、各サンプルとそのクラス中心との距離を最小化すると同時に、クラス中心同士の距離を最大化するように定式化されている。
• モデルアーキテクチャは、PReLU活性化関数とバッチ正規化を備えた3層の畳み込み層、最初の2層の後に最大プーリングを配置し、表現学習のための2つの全結合層を含む。
• t-SNE可視化を用いて、ソフトマックス損失、センター損失、および提案されたアライアンス損失で学習された特徴分布の質的比較が行われた。
• クラス中心間およびサンプルとその中心との間のコサイン距離を計算することで、クラス内凝縮性とクラス間分離性の定量的評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 クラス内分散の低減とクラス間距離の拡大を同時に実現する新しい損失関数が、顔の感情認識における深層特徴の判別性を向上させることができるか？
• RQ2 従来のソフトマックス損失およびセンター損失と比較して、提案されたアライアンス損失はクラス内凝縮性とクラス間分離性においてどのように異なるか？
• RQ3 アライアンス損失は、ポーズ付きおよび自発的顔の感情データを含む多様なデータセットにおいて一貫した性能向上をもたらすか？
• RQ4 アライアンス損失は、顔の感情認識を越えて、他のCNNベースの認識タスクにも一般化可能か？

主な発見

• SFEWデータセットにおいて、アンサンブル学習を用いたIL-CNNはテストセット正答率59.41%を達成し、ベースラインのソフトマックス損失（52.12%）およびセンター損失（53.79%）を顕著に上回った。
• すべてのデータセットにおいて、アライアンス損失は最大の平均中心間コサイン距離（CK+で0.4396、MMIで0.5250、CASIAで0.4562、SFEW検証で0.3778）を達成し、優れたクラス間分離性を示した。
• アライアンス損失は、ソフトマックス損失およびセンター損失と比較して、最小の平均サンプル-中心距離（CK+で0.0194、MMIで0.0618、CASIAで0.0307、SFEW検証で0.0689）を達成し、クラス内変動の低減を示した。
• t-SNE可視化により、アライアンス損失で学習された特徴は、ソフトマックス損失やセンター損失よりも凝縮され、明確に分離されたクラスタを形成することが確認された。特に重複領域で顕著な差が観察された。
• IL-CNNは、CK+、MMI、CASIA、SFEWを含む4つのベンチマークデータセットすべてで最先端または同等の性能を達成した。特に、現実世界の変動を含む挑戦的なSFEWデータセットでも優れた性能を示した。
• アブレーションスタディにより、アライアンス損失は一貫してクラス間距離の拡大とクラス内凝縮性の向上を実現しており、二重最適化目的の有効性が裏付けられた。