[논문 리뷰] Spontaneous Facial Micro-Expression Recognition using Discriminative Spatiotemporal Local Binary Pattern with an Improved Integral Projection

Xiaohua Huang, Sujing Wang외 4명|arXiv (Cornell University)|2016. 08. 07.

Face and Expression Recognition참고 문헌 9인용 수 19

한 줄 요약

이 논문은 개선된 적분 투영을 통합하고 시공간적 국소 이진 패턴 연산자를 적용함으로써 질감 및 형태 특징 추출을 향상시키며, 라플라시안 기반 특징 선택을 통해 분류 능력을 강화하여, CASME, CASME2 및 SMIC 데이터베이스에서 최신 기술 수준의 성능을 달성하는 새로운 방법, 개선된 적분 투영을 통한 분류적 시공간 국소 이진 패턴(DiSTLBP-IIP)을 제안한다. 최고의 인식률은 64.78%에 달한다.

ABSTRACT

Recently, there are increasing interests in inferring mirco-expression from facial image sequences. Due to subtle facial movement of micro-expressions, feature extraction has become an important and critical issue for spontaneous facial micro-expression recognition. Recent works usually used spatiotemporal local binary pattern for micro-expression analysis. However, the commonly used spatiotemporal local binary pattern considers dynamic texture information to represent face images while misses the shape attribute of face images. On the other hand, their works extracted the spatiotemporal features from the global face regions, which ignore the discriminative information between two micro-expression classes. The above-mentioned problems seriously limit the application of spatiotemporal local binary pattern on micro-expression recognition. In this paper, we propose a discriminative spatiotemporal local binary pattern based on an improved integral projection to resolve the problems of spatiotemporal local binary pattern for micro-expression recognition. Firstly, we develop an improved integral projection for preserving the shape attribute of micro-expressions. Furthermore, an improved integral projection is incorporated with local binary pattern operators across spatial and temporal domains. Specifically, we extract the novel spatiotemporal features incorporating shape attributes into spatiotemporal texture features. For increasing the discrimination of micro-expressions, we propose a new feature selection based on Laplacian method to extract the discriminative information for facial micro-expression recognition. Intensive experiments are conducted on three availably published micro-expression databases. We compare our method with the state-of-the-art algorithms. Experimental results demonstrate that our proposed method achieves promising performance for micro-expression recognition.

연구 동기 및 목표

• 기존의 시공간 LBP가 미세 표정의 얼굴 형태 속성을 포착하지 못하고 분류 정보를 충분히 반영하지 못하는 한계를 해결하기 위해.
• 향상된 적분 투영 방법을 통해 형태 및 질감 특징을 통합하여 표정 인식 성능을 향상시키기 위해.
• 라플라시안 기반 특징 선택 전략을 개발하여 표정 분류에서 클래스 간 분리도를 향상시키기 위해.
• 특히 미세 표정이 미세하고 일시적인 CASME2 및 SMIC 데이터베이스에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 개선된 적분 투영을 도입하여 표정의 기하학적 형태를 유지함으로써 공간적 구조 표현을 향상시킨다.
• 시공간적 차원에서 수평 및 수직 적분 투영에 국소 이진 패턴(LBP) 연산자를 적용하여 시공간 질감 특징을 추출한다.
• 형태 인식 투영과 LBP를 결합하여 외관과 운동 역학을 모두 포착하는 새로운 특징 기술자 STLBP-IIP를 생성한다.
• 라플라시안 기반 특징 선택 방법을 적용하여 STLBP-IIP 표현에서 가장 분류 능력이 뛰어난 특징을 식별하고 유지한다.
• 세 가지 공개된 표정 인식 데이터베이스인 CASME, CASME2 및 SMIC에서 다중 클래스 분류 설정을 사용해 프레임워크를 평가한다.
• 분류에는 선형 커널을 사용한 SVM를 사용하며, 성능은 이탈자 한 명씩 제외하는 교차 검증(LOSO)을 통해 검증한다.

실험 결과

연구 질문

• RQ1 개선된 적분 투영 방법이 표정의 형태 속성을 효과적으로 유지하여 더 나은 특징 표현을 가능하게 하는가?
• RQ2 형태 인식 투영과 시공간 LBP를 조합함으로써 표준 LBP-TOP에 비해 표정 특징의 분류 능력이 향상되는가?
• RQ3 라플라시안 기반 특징 선택이 분류 정확도를 향상시키기 위해 가장 분류 능력이 뛰어난 특징 조합에 집중함으로써 미세 표정 분석에서 성능을 향상시키는가?
• RQ4 제안된 DiSTLBP-IIP 방법은 기준 표정 인식 데이터베이스에서 인식 정확도 및 강인성 측면에서 최신 기술 수준의 접근법과 비교해 어떻게 성능을 내는가?

주요 결과

• CASME2 데이터베이스에서 DiSTLBP-IIP는 64.78%의 인식 정확도를 달성하여 이어지는 최고 성능 방법(STCLQP)보다 6.39%포인트 높았다.
• SMIC 데이터베이스에서 DiSTLBP-IIP는 63.41%의 정확도를 기록했으며, LBP-TOP(42.07%)와 LOCP-TOP(43.90%)를 크게 능가하여 LOCP-TOP 대비 16.47%포인트 향상된 성능을 보였다.
• 혼동 행렬 분석 결과, DiSTLBP-IIP는 놀라움을 다른 유형으로 잘못 분류하는 것을 줄여, 기준 방법에 비해 더 나은 클래스 간 분리도를 보였다.
• STLBP-IIP는 SMIC에서 60.37%의 정확도를 기록하여, 표준 LBP-TOP 및 LOCP-TOP 대비 개선된 적분 투영이 성능 향상에 기여함을 확인했다.
• 라플라시안 기반 특징 선택은 분류 능력을 효과적으로 향상시켜, 모든 데이터베이스에서 DiSTLBP-IIP의 성능 향상에 기여했다.
• 이 방법은 CASME, CASME2 및 SMIC의 세 데이터베이스 모두에서 일관된 우수성을 보였으며, 이는 표정 인식에 대한 강인성과 일반화 능력을 확인한다.