[논문 리뷰] Facial Expression Classification Based on Multi Artificial Neural Network and Two Dimensional Principal Component Analysis

Thái Hoàng Lê, Phat Quang Tat외 1명|arXiv (Cornell University)|2011. 07. 16.

Face and Expression Recognition참고 문헌 11인용 수 7

한 줄 요약

이 논문은 두 차원 주성분 분석(2D-PCA)을 여러 신경망과 융합하는 다중 인공신경망(MANN) 프레임워크를 제안하여 얼굴 표정 분류 성능을 향상시킨다. 2D-PCA 변형을 통해 얼굴 이미지를 다양한 부분공간에 투영하고, 신뢰도 가중치를 적용한 앙상블을 통해 분류 결과를 융합함으로써, JAFFE 데이터베이스에서 높은 정확도를 달성하며, 표정 인식 분야에서 다중공간 표현과 앙상블 학습의 효과를 입증한다.

ABSTRACT

Facial expression classification is a kind of image classification and it has received much attention, in recent years. There are many approaches to solve these problems with aiming to increase efficient classification. One of famous suggestions is described as first step, project image to different spaces; second step, in each of these spaces, images are classified into responsive class and the last step, combine the above classified results into the final result. The advantages of this approach are to reflect fulfill and multiform of image classified. In this paper, we use 2D-PCA and its variants to project the pattern or image into different spaces with different grouping strategies. Then we develop a model which combines many Neural Networks applied for the last step. This model evaluates the reliability of each space and gives the final classification conclusion. Our model links many Neural Networks together, so we call it Multi Artificial Neural Network (MANN). We apply our proposal model for 6 basic facial expressions on JAFFE database consisting 213 images posed by 10 Japanese female models.

연구 동기 및 목표

• 다양한 특징 부분공간을 활용하여 얼굴 표정 분류 정확도를 향상시키기 위해 노력한다.
• 각 부분공간 내에서 개별 분류기의 신뢰도를 평가하는 다중망 융합 모델을 개발한다.
• 얼굴 이미지에서 차원 감소 및 특징 추출을 위해 2D-PCA 및 그 변형을 적용한다.
• 기본 얼굴 표정 데이터베이스(JAFFE)를 대상으로 제안된 프레임워크를 검증한다.
• 하나의 부분공간 기반 특징 투영과 다수의 신경망을 융합하는 방식의 이점을 입증한다.

제안 방법

• 이 방법은 2D-PCA 및 그 변형을 사용하여 다양한 그룹화 전략에 기반해 얼굴 이미지를 다수의 독립된 부분공간에 투영한다.
• 각 부분공간은 고유한 인공신경망을 통해 독립적으로 표정 분류를 수행한다.
• 각 신경망의 출력에 대한 신뢰도를 평가하기 위해 신뢰도 추정 메커니즘이 적용된다.
• 최종 분류 결과는 각 신경망의 출력을 그들의 신뢰도 점수에 따라 가중 평균하여 결정된다.
• 다양한 특징 표현 간에 다수의 분류기를 통합하기 위해 다중 인공신경망(MANN)으로 설계된다.
• 이 방법은 이미지의 벡터화를 피함으로써 2D-PCA를 통해 공간적 구조를 유지하여 특징 추출의 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 2D-PCA 기반 부분공간을 융합하면 얼굴 표정 분류 성능이 향상되는가?
• RQ2 다수의 신경망을 신뢰도 가중치로 융합할 경우 분류 정확도에 어떤 영향을 미치는가?
• RQ3 MANN 프레임워크는 얼굴 표정 데이터셋에서 단일망 또는 단일 부분공간 접근 방식보다 우수한 성능을 보이는가?
• RQ4 2D-PCA에서 다양한 그룹화 전략이 분류 결과에 어떤 영향을 미치는가?
• RQ5 이미지의 벡터화 없이도 2D-PCA가 얼굴 표정 인식에 효과적으로 구분 가능한 특징을 추출할 수 있는가?

주요 결과

• 제안된 MANN 모델은 기준 방법 대비 JAFFE 데이터베이스에서 향상된 분류 정확도를 달성했다.
• 다양한 2D-PCA 부분공간의 사용은 다양한 이미지 특성을 반영함으로써 특징 표현을 향상시켰다.
• 신뢰도 가중치를 적용한 신경망 융합은 더 견고하고 일관된 분류 결정을 이끌어냈다.
• 프레임워크는 2D-PCA와 앙상블 신경망을 융합함으로써 얼굴 표정 인식에 효과적임을 입증했다.
• 모델은 JAFFE 데이터셋의 6종류 기본 표정에 대해 뛰어난 성능을 보이며 설계의 타당성을 입증했다.
• 결과는 다중공간 표현과 앙상블 학습이 분류 성능 향상에 크게 기여함을 시사한다.