[論文レビュー] Facial Expression Classification Based on Multi Artificial Neural Network and Two Dimensional Principal Component Analysis

Thái Hoàng Lê, Phat Quang Tat+1 more|arXiv (Cornell University)|Jul 16, 2011

Face and Expression Recognition参考文献 11被引用数 7

ひとこと要約

本論文は、顔の表情分類の精度を向上させるために、2次元主成分分析（2D-PCA）と複数のニューラルネットワークを組み合わせたマルチアーティフィシャルニューラルネットワーク（MANN）フレームワークを提案する。2D-PCAの変種を用いて顔画像を複数の部分空間に投影し、信頼性重み付きアンサンブルによる分類結果の統合により、JAFFEデータベース上で高い分類精度を達成した。これにより、表情認識におけるマルチスペース表現とアンサンブル学習の有効性が示された。

ABSTRACT

Facial expression classification is a kind of image classification and it has received much attention, in recent years. There are many approaches to solve these problems with aiming to increase efficient classification. One of famous suggestions is described as first step, project image to different spaces; second step, in each of these spaces, images are classified into responsive class and the last step, combine the above classified results into the final result. The advantages of this approach are to reflect fulfill and multiform of image classified. In this paper, we use 2D-PCA and its variants to project the pattern or image into different spaces with different grouping strategies. Then we develop a model which combines many Neural Networks applied for the last step. This model evaluates the reliability of each space and gives the final classification conclusion. Our model links many Neural Networks together, so we call it Multi Artificial Neural Network (MANN). We apply our proposal model for 6 basic facial expressions on JAFFE database consisting 213 images posed by 10 Japanese female models.

研究の動機と目的

• 複数の特徴部分空間を活用することで、顔の表情分類の精度を向上させること。
• 異なる部分空間における個々の分類器の信頼性を評価するマルチネットワーク統合モデルの開発。
• 顔画像からの次元削減と特徴抽出のために、2D-PCAおよびその変種の適用。
• ベンチマーク用顔の表情データベース（JAFFE）上で、提案されたフレームワークの妥当性を検証すること。
• 部分空間に基づく特徴投影と複数のニューラルネットワークを組み合わせることの利点を示すこと。

提案手法

• 本手法は、異なるグループ化戦略に基づいて、2D-PCAおよびその変種を用いて顔画像を複数の明確に異なる部分空間に投影する。
• 各部分空間は、独立して専用のアーティフィシャルニューラルネットワークによって表情分類処理が行われる。
• 各ニューラルネットワークの出力に対する信頼性を評価するための信頼性推定メカニズムが適用される。
• 最終的な分類は、各ニューラルネットワークの出力を信頼性スコアで重み付けして統合することによって決定される。
• 本フレームワークは、多様な特徴表現にわたる複数の分類器を統合するためのマルチアーティフィシャルニューラルネットワーク（MANN）として設計されている。
• 本手法は、画像のベクトル化を回避し、2D-PCAによって空間構造を保持することで、特徴抽出の効率性が向上する。

実験結果

リサーチクエスチョン

• RQ1 複数の2D-PCAに基づく部分空間を組み合わせることで、顔の表情分類性能が向上するか？
• RQ2 複数のニューラルネットワークの信頼性重み付き統合は、分類精度にどのように影響するか？
• RQ3 MANNフレームワークは、単一ネットワークまたは単一部分空間アプローチを上回る性能を示すか？
• RQ4 2D-PCAにおける異なるグループ化戦略が、分類結果に与える影響は何か？
• RQ5 画像のベクトル化を伴わずに、2D-PCAが顔の表情認識に効果的に特徴を抽出できるか？

主な発見

• 提案されたMANNモデルは、ベースライン手法と比較して、JAFFEデータベース上で分類精度が向上した。
• 複数の2D-PCA部分空間の使用により、多様な画像特徴を捉えることで、特徴表現が強化された。
• ニューラルネットワークの信頼性重み付き統合により、より頑健で一貫性のある分類意思決定が達成された。
• 本フレームワークは、2D-PCAとアンサンブルニューラルネットワークを組み合わせることで、顔の表情認識に有効であることが示された。
• モデルは、JAFFEデータセットの6つの基本的顔の表情において優れた性能を示し、設計の有効性が検証された。
• 結果から、マルチスペース表現とアンサンブル学習が分類性能に顕著に寄与することが示唆された。