[논문 리뷰] Soft Locality Preserving Map (SLPM) for Facial Expression Recognition

Cigdem Turan, Kin‐Man Lam외 1명|arXiv (Cornell University)|2018. 01. 11.

Face and Expression Recognition참고 문헌 30인용 수 7

한 줄 요약

이 논문은 저차원 부분공간에서의 클래스 산란을 제어하여 일반화 능력을 향상시키는 새로운 그래프 기반 다양체 학습 방법인 소프트 국소성 유지 맵(SLPM)을 제안한다. k-근접 이웃과 클래스 정보를 통합함으로써 SLPM는 차원 감소를 수행하면서도 특징의 판별 능력을 향상시키며, BAUM-2, CK+, JAFFE, TFEID 데이터베이스에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

For image recognition, an extensive number of methods have been proposed to overcome the high-dimensionality problem of feature vectors being used. These methods vary from unsupervised to supervised, and from statistics to graph-theory based. In this paper, the most popular and the state-of-the-art methods for dimensionality reduction are firstly reviewed, and then a new and more efficient manifold-learning method, named Soft Locality Preserving Map (SLPM), is presented. Furthermore, feature generation and sample selection are proposed to achieve better manifold learning. SLPM is a graph-based subspace-learning method, with the use of k-neighbourhood information and the class information. The key feature of SLPM is that it aims to control the level of spread of the different classes, because the spread of the classes in the underlying manifold is closely connected to the generalizability of the learned subspace. Our proposed manifold-learning method can be applied to various pattern recognition applications, and we evaluate its performances on facial expression recognition. Experiments on databases, such as the Bahcesehir University Multilingual Affective Face Database (BAUM-2), the Extended Cohn-Kanade (CK+) Database, the Japanese Female Facial Expression (JAFFE) Database, and the Taiwanese Facial Expression Image Database (TFEID), show that SLPM can effectively reduce the dimensionality of the feature vectors and enhance the discriminative power of the extracted features for expression recognition. Furthermore, the proposed feature-generation method can improve the generalizability of the underlying manifolds for facial expression recognition.

연구 동기 및 목표

• 고차원 특징 벡터 문제를 해결하기 위해 다각체 학습의 효율성을 향상시키기 위해.
• 저차원 부분공간에서의 클래스 산란을 제어함으로써 추출된 특징의 판별 능력을 향상시키기 위해.
• 특히 얼굴 표정 인식에 적합한 다양한 패턴 인식 작업에 적용 가능한 강력한 차원 감소 방법을 개발하기 위해.
• 제안된 특징 생성 및 샘플 선택 기법을 통해 학습된 다각체의 일반화 능력을 향상시키기 위해.

제안 방법

• SLPM는 국소 다각체 구조를 모델링하기 위해 k-근접 이웃 관계를 활용하는 그래프 기반 부분공간 학습 방법이다.
• 상호 클래스 간 분리성 유지 보장을 위해 클래스 정보를 통합하여 임bedding 과정을 안내한다.
• 저차원 공간에서의 서로 다른 클래스의 산란을 제어하기 위해 소프트 정규화 메커니즘을 도입하여 일반화 능력을 향상시킨다.
• 다양체 학습을 위한 입력 데이터 품질 향상을 위해 SLPM 이전에 특징 생성 및 샘플 선택 기법을 적용한다.
• 지역성 유지와 클래스 간 분리 간 균형을 확보하기 위해 가중치가 부여된 그래프 라플라시안 공식을 사용하는 비용 함수를 최적화한다.
• 최종 임베딩은 그래프 라플라시안 행렬과 차수 행렬로부터 유도된 일반화 고유값 문제를 해결함으로써 도출된다.

실험 결과

연구 질문

• RQ1 저차원 다각체에서의 클래스 산란을 어떻게 제어할 수 있을까? 이를 통해 얼굴 표정 인식의 일반화 능력을 향상시킬 수 있는가?
• RQ2 그래프 기반 차원 감소 방법이 기존 최신 기술 수준의 기법들을 능가할 수 있는가?
• RQ3 특징 생성 및 샘플 선택 기법이 표현 인식에서 다각체 학습의 성능에 얼마나 기여하는가?
• RQ4 LDA 및 LPP와 같은 전통적 방법과 비교할 때 SLPM는 다양한 데이터베이스에서 판별 능력과 강건성 측면에서 어떤가?

주요 결과

• SLPM는 BAUM-2 데이터베이스에서 높은 성능을 기록하여 기준 방법 대비 개선된 인식 정확도를 보였다.
• CK+ 데이터베이스에서 SLPM는 미세한 얼굴 표정 변화 처리 능력이 향상되어 더욱 뛰어난 판별 능력을 보였다.
• 모든 테스트된 데이터베이스에서 중요한 판별 정보를 유지하면서도 효과적으로 특징 차원을 감소시켰다.
• 제안된 특징 생성 기법은 특히 데이터가 적은 환경에서 기저 다각체의 일반화 능력을 크게 향상시켰다.
• 실험 결과, SLPM를 통한 클래스 산란 제어로 인해 임bedded 공간 내에서 더 조밀하고 잘 분리된 클래스 클러스터가 형성됨을 확인했다.