[논문 리뷰] Micro-Expression Spotting: A Benchmark

Xiaopeng Hong, Thuong-Khanh Tran외 1명|arXiv (Cornell University)|2017. 10. 08.

Emotion and Mood Recognition참고 문헌 46인용 수 6

한 줄 요약

이 논문은 다중 척도 슬라이딩 윈도우와 정의된 프로토콜을 사용하여 마이크로 표현 검출 방법 간의 공정한 비교를 가능하게 하는 표준화된 평가 프레임워크인 마이크로 표현 검출 벤치마크(MESB)를 소개한다. 다양한 특징과 테스트 설정에서의 베이스라인 결과를 제공하며, 특히 주관 독립 조건에서 최첨단 성능이 여전히 포화 상태에 도달하지 못하고 있음을 시사한다.

ABSTRACT

Micro-expressions are rapid and involuntary facial expressions, which indicate the suppressed or concealed emotions. Recently, the research on automatic micro-expression (ME) spotting obtains increasing attention. ME spotting is a crucial step prior to further ME analysis tasks. The spotting results can be used as important cues to assist many other human-oriented tasks and thus have many potential applications. In this paper, by investigating existing ME spotting methods, we recognize the immediacy of standardizing the performance evaluation of micro-expression spotting methods. To this end, we construct a micro-expression spotting benchmark (MESB). Firstly, we set up a sliding window based multi-scale evaluation framework. Secondly, we introduce a series of protocols. Thirdly, we also provide baseline results of popular methods. The MESB facilitates the research on ME spotting with fairer and more comprehensive evaluation and also enables to leverage the cutting-edge machine learning tools widely.

연구 동기 및 목표

• 마이크로 표현 검출 분야에서 표준화된 평가의 부족으로 인해 다양한 방법 간의 공정한 비교가 어려운 문제를 해결하기 위해.
• 슬라이딩 윈도우를 통해 프레임 시퀀스를 분석하여 머리 움직임과 조명 변화로 인한 오진 탐지에 대한 강건성을 향상시키기 위해.
• 시간적 해상도를 다중 척도로 재조정하는 시간 보간 모델(TIM)을 활용하여 다양한 지속시간을 가진 마이크로 표현을 탐지할 수 있도록 하기 위해.
• 재현 가능한 벤치마킹을 위해 정규 및 주관 독립(하나의 주관을 제외한 교차 검증) 테스트 설정을 포함한 일관된 평가 프로토콜을 수립하기 위해.
• 다양한 구성과 테스트 분할에서 널리 사용되는 특징(HIGO-TOP, HOG-TOP, LBP-TOP)에 대한 기준 성능 결과를 제공하기 위해.

제안 방법

• 다양한 지속시간을 가진 마이크로 표현을 처리하기 위해 시간 보간 모델(TIM)을 사용하여 비디오 시퀀스를 재샘플링하는 다중 척도 슬라이딩 윈도우 프레임워크를 제안한다.
• 고정 길이의 슬라이딩 윈도우를 사용하여 연속된 프레임 시퀀스를 분석하며, 각 윈도우를 마이크로 표현 대비 비마이크로 표현으로 분류하는 이진 분류 문제로 간주한다.
• 각 윈도우에서 추출한 세 가지 수작업 특징(HIGO-TOP, HOG-TOP, LBP-TOP)을 분류에 활용한다.
• 각 윈도우에 대해 이진 분류기(예: Adaboost)를 적용하여 마이크로 표현 존재 여부를 예측한 후, 출력을 개선하기 위해 무작위 보행 함수를 통한 후처리를 수행한다.
• 두 가지 주요 평가 프로토콜을 표준화하여 사용한다: (1) 정규 훈련/테스트 분할(예: 70%/30%)과 (2) 하나의 주관을 제외한 교차 검증을 통해 실제 주관 독립 성능을 시뮬레이션한다.
• 각 윈도우(FPPW) 및 비디오 기반(FPPV) 평가 지표를 사용하여 성능을 평가하며, 주요 평가 기준으로는 고정된 양성률에서의 평균 빠짐률을 사용한다.

실험 결과

연구 질문

• RQ1 다중 척도 슬라이딩 윈도우 분석은 다양한 지속시간을 가진 마이크로 표현 검출 성능에 어떻게 기여하는가?
• RQ2 표준화된 평가 프로토콜 하에서 다양한 특징 유형(HIGO-TOP, HOG-TOP, LBP-TOP)이 검출 정확도에 미치는 영향은 어떠한가?
• RQ3 다양한 훈련/테스트 분할 비율(30%/70%, 50%/50%, 70%/30%)은 검출 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 주관 독립 평가(하나의 주관을 제외한 교차 검증)는 표준 훈련/테스트 분할 대비 강건성과 성능 측면에서 어떻게 비교되는가?
• RQ5 공정하고 종합적인 평가 조건 하에서 기존 방법의 기준 성능 수준은 어떠한가?

주요 결과

• 정규 테스트 설정(70%/30% 분할) 하에서 HOG-TOP는 블록 크기 8×8×4와 오버랩 비율 0.2 조건에서 FPPW = 0.4일 때 평균 빠짐률 25.39%의 최고 성능를 기록하였다.
• 주관 독립 평가(하나의 주관을 제외한 교차 검증) 하에서 LBP-TOP가 다른 특징보다 뛰어난 성능를 보였으며, 블록 크기 8×8×4와 오버랩 비율 0.2 조건에서 FPPW = 0.4일 때 평균 빠짐률 26.79%를 기록하였다.
• 비디오 기반 평가(FPPV = 1.0)에서 HOG-TOP는 블록 크기 8×8×4와 오버랩 비율 0.2 조건에서 70%/30% 분할 하에서 가장 낮은 평균 빠짐률 54.99%를 기록하였다.
• 주관 독립 결과에서 HOG-TOP는 FPPV = 1.0일 때 평균 빠짐률 68.42%를 기록하여 HIGO-TOP와 LBP-TOP를 초월하는 성능를 보였다.
• 결과는 현재의 어떤 방법도 포화 상태에 도달하지 못하고 있으며, 딥러닝 및 액션 유닛 모델링과 같은 고급 기법의 추가 탐색이 필요함을 시사한다.
• 벤치마크는 정규 설정과 주관 독립 설정 간에 뚜렷한 성능 격차를 드러내며, 실세계 적용의 과제를 강조한다.