[论文解读] Facial Expression Classification Based on Multi Artificial Neural Network and Two Dimensional Principal Component Analysis

Thái Hoàng Lê, Phat Quang Tat+1 more|arXiv (Cornell University)|Jul 16, 2011

Face and Expression Recognition参考文献 11被引用 7

一句话总结

本文提出了一种多人工神经网络（MANN）框架，通过将二维主成分分析（2D-PCA）与多个神经网络结合，以提升面部表情分类性能。通过使用2D-PCA变体将面部图像投影到不同的子空间，并利用可靠性加权集成方法融合分类结果，该模型在JAFFE数据库上实现了更高的准确率，证明了多子空间表征与集成学习在表情识别中的有效性。

ABSTRACT

Facial expression classification is a kind of image classification and it has received much attention, in recent years. There are many approaches to solve these problems with aiming to increase efficient classification. One of famous suggestions is described as first step, project image to different spaces; second step, in each of these spaces, images are classified into responsive class and the last step, combine the above classified results into the final result. The advantages of this approach are to reflect fulfill and multiform of image classified. In this paper, we use 2D-PCA and its variants to project the pattern or image into different spaces with different grouping strategies. Then we develop a model which combines many Neural Networks applied for the last step. This model evaluates the reliability of each space and gives the final classification conclusion. Our model links many Neural Networks together, so we call it Multi Artificial Neural Network (MANN). We apply our proposal model for 6 basic facial expressions on JAFFE database consisting 213 images posed by 10 Japanese female models.

研究动机与目标

• 通过利用多个特征子空间来提升面部表情分类的准确率。
• 开发一种多网络融合模型，以评估不同子空间中各个分类器的可靠性。
• 应用2D-PCA及其变体对人脸图像进行降维与特征提取。
• 在基准面部表情数据库（JAFFE）上验证所提出的框架。
• 展示将多个神经网络与基于子空间的特征投影相结合的优势。

提出的方法

• 该方法使用2D-PCA及其变体，基于不同的分组策略，将人脸图像投影到多个不同的子空间。
• 每个子空间由专用的人工神经网络独立处理，用于表情分类。
• 应用可靠性评估机制，以衡量每个神经网络在其对应子空间中输出的置信度。
• 最终分类结果通过加权融合所有神经网络的输出确定，权重为各自的可靠性得分。
• 该框架设计为多个人工神经网络（MANN），以整合多样化的特征表示下的多个分类器。
• 该方法避免了对图像进行向量化处理，通过2D-PCA保留空间结构，从而提升特征提取效率。

实验结果

研究问题

• RQ1 结合多个基于2D-PCA的子空间是否能提升面部表情分类性能？
• RQ2 多个神经网络的可靠性加权融合如何影响分类准确率？
• RQ3 MANN框架是否在面部表情数据集上优于单网络或单子空间方法？
• RQ4 2D-PCA中不同的分组策略对分类结果有何影响？
• RQ5 在不进行图像向量化的情况下，2D-PCA能否有效提取用于面部表情识别的判别性特征？

主要发现

• 所提出的MANN模型在JAFFE数据库上的分类准确率优于基线方法。
• 使用多个2D-PCA子空间通过捕捉图像的不同特征，增强了特征表征能力。
• 神经网络的可靠性加权融合带来了更鲁棒且一致的分类决策。
• 该框架证明了将2D-PCA与集成神经网络结合在面部表情识别中的有效性。
• 该模型在JAFFE数据集中6种基本面部表情上表现出色，验证了其设计的合理性。
• 结果表明，多子空间表征与集成学习显著提升了分类性能。