[논문 리뷰] Automatic Micro-Expression Apex Frame Spotting using Local Binary Pattern from Six Intersection Planes

Vida Esmaeili, Mahmood Mohassel Feghhi외 1명|arXiv (Cornell University)|2021. 04. 05.

Emotion and Mood Recognition참고 문헌 19인용 수 4

한 줄 요약

이 논문은 국소 이진 패턴을 여섯 개의 교차 평면에서 계산하여 자동으로 미세표정 피크 프레임을 식별하는 데 향상된 성능을 보이는 새로운 특징 추출 방법인 LBP-SIPl을 제안한다. LBP-TOP보다 더 풍부한 시공간 역학을 캡처함으로써, CASME 데이터베이스에서 43%의 자동 피크 프레임 검출률과 평균 절대 오차 1.76를 달성하여 기존 방법들을 능가한다.

ABSTRACT

Facial expressions are one of the most effective ways for non-verbal communications, which can be expressed as the Micro-Expression (ME) in the high-stake situations. The MEs are involuntary, rapid, and, subtle, and they can reveal real human intentions. However, their feature extraction is very challenging due to their low intensity and very short duration. Although Local Binary Pattern from Three Orthogonal Plane (LBP-TOP) feature extractor is useful for the ME analysis, it does not consider essential information. To address this problem, we propose a new feature extractor called Local Binary Pattern from Six Intersection Planes (LBP-SIPl). This method extracts LBP code on six intersection planes, and then it combines them. Results show that the proposed method has superior performance in apex frame spotting automatically in comparison with the relevant methods on the CASME database. Simulation results show that, using the proposed method, the apex frame has been spotted in 43% of subjects in the CASME database, automatically. Also, the mean absolute error of 1.76 is achieved, using our novel proposed method.

연구 동기 및 목표

• 짧은 지속 시간과 낮은 강도로 인해 미세표정 피크 프레임을 식별하는 데 어려움이 존재하므로 이를 해결하고자 한다.
• LBP-TOP의 성능을 향상시키기 위해 다수의 평면에서 유도된 추가적인 공간적 및 시간적 정보를 통합하고자 한다.
• 미세표정에서 피크 프레임을 보다 정확하게 국소화할 수 있도록 더 견고한 특징 추출기를 개발하고자 한다.
• 실제 감정 인식 응용 분야에서의 타당성을 평가하기 위해 CASME 데이터베이스를 기반으로 제안된 방법을 평가하고자 한다.

제안 방법

• 이 방법은 얼굴 영상 시퀀스의 3차원 시공간 부피를 자르며 형성된 여섯 개의 교차 평면에서 국소 이진 패턴(LBP) 코드를 추출한다.
• 각 교차 평면은 서로 다른 공간적 및 시간적 변동 조합을 캡처하여 특징의 다양성과 구분 능력을 향상시킨다.
• 모든 여섯 평면에서 유도된 LBP 코드를 연결하여 하나의 통합된 특징 벡터를 형성하며, 이는 미세표정 시퀀스를 나타낸다.
• 결과로 유도된 특징 벡터는 피크 프레임 검출을 위한 분류 모델의 입력으로 사용된다.
• 이 방법은 시공간 부피의 기하학적 구조를 활용하여 전통적인 LBP-TOP보다 더 효과적으로 局부 텍스처 패턴을 추출한다.
• 이 방법은 미세표정에서의 미세한 얼굴 변화에 민감하게 반응하면서도 계산 효율성이 높도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 여섯 개의 다중 교차 평면 기반 특징 추출 방법이 LBP-TOP에 비해 미세표정의 피크 프레임 검출 정확도를 향상시킬 수 있는가?
• RQ2 여섯 개의 고유한 시공간 평면을 통합함으로써 미세표정에서 미세한 얼굴 역동성을 더 잘 표현할 수 있는가?
• RQ3 제안된 LBP-SIPl 방법을 사용하여 CASME 데이터베이스에서 피크 프레임의 검출률을 얼마나 달성할 수 있는가?
• RQ4 LBP-SIPl과 기존 방법 간의 피크 프레임 국소화 평균 절대 오차는 어떻게 비교되는가?
• RQ5 제안된 방법이 수동 간섭 없이 자동으로 피크 프레임을 식별할 수 있는가?

주요 결과

• 제안된 LBP-SIPl 방법은 CASME 데이터베이스에서 43%의 자동 피크 프레임 검출률을 달성하여 실제 응용 분야에서의 효과성을 입증하였다.
• 평균 절대 오차를 1.76 프레임으로 감소시켜 피크 프레임 국소화의 높은 정밀도를 보였다.
• LBP-SIPl은 특히 미세하고 빠른 얼굴 변화를 식별하는 데 있어 기존 방법들을 능가하는 성능을 보였다.
• 여섯 개의 교차 평면을 사용함으로써 LBP-TOP가 오직 세 개의 수직 평면만을 사용하는 것에 비해 특징 표현 능력이 크게 향상되었다.
• 다중 평면 LBP 추출이 미세표정 분석을 위한 구분 능력을 향상시킨다는 것이 결과적으로 확인되었다.
• 이 방법은 높은 시간 정밀도가 요구되는 자동 감정 인식 시스템에 강력한 잠재력을 지닌다.