[論文レビュー] Soft Locality Preserving Map (SLPM) for Facial Expression Recognition

Cigdem Turan, Kin‐Man Lam+1 more|arXiv (Cornell University)|Jan 11, 2018

Face and Expression Recognition参考文献 30被引用数 7

ひとこと要約

本稿では、顔の感情認識のための新しいグラフベースの多様体学習手法であるSoft Locality Preserving Map (SLPM) を提案する。この手法は、低次元部分空間におけるクラスの分散を制御することで汎化性能を向上させる。k-近傍法とクラス情報を取り入れることで、次元削減を実現するとともに特徴の識別性を向上させ、BAUM-2、CK+、JAFFE、TFEIDデータベースにおいて最先端の性能を達成した。

ABSTRACT

For image recognition, an extensive number of methods have been proposed to overcome the high-dimensionality problem of feature vectors being used. These methods vary from unsupervised to supervised, and from statistics to graph-theory based. In this paper, the most popular and the state-of-the-art methods for dimensionality reduction are firstly reviewed, and then a new and more efficient manifold-learning method, named Soft Locality Preserving Map (SLPM), is presented. Furthermore, feature generation and sample selection are proposed to achieve better manifold learning. SLPM is a graph-based subspace-learning method, with the use of k-neighbourhood information and the class information. The key feature of SLPM is that it aims to control the level of spread of the different classes, because the spread of the classes in the underlying manifold is closely connected to the generalizability of the learned subspace. Our proposed manifold-learning method can be applied to various pattern recognition applications, and we evaluate its performances on facial expression recognition. Experiments on databases, such as the Bahcesehir University Multilingual Affective Face Database (BAUM-2), the Extended Cohn-Kanade (CK+) Database, the Japanese Female Facial Expression (JAFFE) Database, and the Taiwanese Facial Expression Image Database (TFEID), show that SLPM can effectively reduce the dimensionality of the feature vectors and enhance the discriminative power of the extracted features for expression recognition. Furthermore, the proposed feature-generation method can improve the generalizability of the underlying manifolds for facial expression recognition.

研究の動機と目的

• 顔の感情認識における高次元特徴ベクトルの課題に対処し、多様体学習の効率を向上させること。
• 低次元部分空間におけるクラスの分散を制御することで、抽出された特徴の識別力を強化すること。
• 特に顔の感情認識を対象として、さまざまなパターン認識タスクに適用可能な頑健な次元削減手法を開発すること。
• 提案された特徴生成およびサンプル選択技術を用いて、学習された多様体の汎化性能を向上させること。

提案手法

• SLPMは、局所的多様体構造をモデル化するためにk-近傍関係を利用するグラフベースの部分空間学習手法である。
• クラス情報を統合して埋め込みプロセスをガイドすることで、クラス間分離性が保持されるようにする。
• 低次元空間における異なるクラスの分散を制御するためのソフト正則化機構を導入し、一般化性能を向上させる。
• 多様体学習のための入力データの品質を向上させるために、SLPMの前段階で特徴生成とサンプル選択を適用する。
• 局所性の保持とクラス分離のバランスを最適化するコスト関数を最適化する。重み付きグラフラプラシアンの定式化を用いる。
• 最終的な埋め込みは、グラフラプラシアン行列と次数行列から導かれる一般化固有値問題を解くことで得られる。

実験結果

リサーチクエスチョン

• RQ1 低次元多様体におけるクラスの分散をどのように制御すれば、顔の感情認識における汎化性能が向上するのか？
• RQ2 グラフベースの次元削減手法は、顔の感情認識において既存の最先端手法を上回ることができるか？
• RQ3 特徴生成とサンプル選択は、感情認識における多様体学習の性能をどの程度向上させるのか？
• RQ4 LDA や LPP といった従来の手法と比較して、SLPM は多様なデータベースにおいて識別力と頑健性の面で優れているか？

主な発見

• SLPMはBAUM-2データベースにおいて優れた性能を示し、ベースライン手法よりも認識精度が向上した。
• CK+データベースでは、微妙な顔の表情の変化に対しても、SLPMが優れた識別能力を示した。
• すべてのテスト済みデータベースにおいて、特徴次元の削減を効果的に行いながら、重要な識別的情報を保持した。
• 提案された特徴生成技術は、特にデータ量が少ない状況下で、基礎となる多様体の汎化性能を顕著に向上させた。
• 実験により、SLPMによるクラス分散の制御が、埋め込み空間におけるよりコンパクトで明確に分離されたクラスクラスタを実現したことが確認された。