[논문 리뷰] Feature refinement: An expression-specific feature learning and fusion method for micro-expression recognition

Ling Zhou, Qirong Mao외 3명|arXiv (Cornell University)|2021. 01. 13.

Human Pose and Action Recognition참고 문헌 77인용 수 9

한 줄 요약

이 논문은 주어진 세 가지 공개 벤치마크에서 상태의 기술(SOTA) 또는 경쟁 가능한 성능을 달성하기 위해 주의 기반 제안 모듈을 통해 표현별 특징을 학습하고 이를 융합하여 분류 성능을 향상시키는 딥러닝 프레임워크인 기능 정제(FR)를 제안한다. 이는 공유 특징 학습, 표현별 특징 정제, 요소별 특징 융합의 세 단계 과정을 거쳐 구현된다.

ABSTRACT

Micro-Expression Recognition has become challenging, as it is extremely difficult to extract the subtle facial changes of micro-expressions. Recently, several approaches proposed several expression-shared features algorithms for micro-expression recognition. However, they do not reveal the specific discriminative characteristics, which lead to sub-optimal performance. This paper proposes a novel Feature Refinement ({FR}) with expression-specific feature learning and fusion for micro-expression recognition. It aims to obtain salient and discriminative features for specific expressions and also predict expression by fusing the expression-specific features. FR consists of an expression proposal module with attention mechanism and a classification branch. First, an inception module is designed based on optical flow to obtain expression-shared features. Second, in order to extract salient and discriminative features for specific expression, expression-shared features are fed into an expression proposal module with attention factors and proposal loss. Last, in the classification branch, labels of categories are predicted by a fusion of the expression-specific features. Experiments on three publicly available databases validate the effectiveness of FR under different protocol. Results on public benchmarks demonstrate that our FR provides salient and discriminative information for micro-expression recognition. The results also show our FR achieves better or competitive performance with the existing state-of-the-art methods on micro-expression recognition.

연구 동기 및 목표

• 미세표정은 짧은 지속 시간과 낮은 강도로 인해 감지하기 어려운 점을 감안해, 뚜렷하고 분류에 유용한 특징을 추출하는 데에 도전한다.
• 기존의 표현 공유 특징 방법이 표현별로 특징적인 분류 패턴을 포착하지 못하는 한계를 극복한다.
• 자동으로 표현별 특징을 학습하고 융합하여 미세표정 인식 성능을 향상시키는 엔드 투 엔드 딥러닝 프레임워크를 개발한다.
• 특징의 분류 능력 향상과 모델의 해석 가능성 향상을 위해 새로운 주의 메커니즘과 제안 손실을 도입한다.
• 공개 데이터베이스에서 표준 평가 프로토콜을 여러 개 적용하여 제안된 방법의 유효성을 검증한다.

제안 방법

• 광학 흐름 입력에서 표현 공유 특징을 추출하기 위해 인셉션 블록을 사용하는 이중 스트림 인셉션 네트워크를 사용하여 전역적이고 국소적인 운동 패턴을 포착한다.
• 표현 제안 모듈에 주의 메커니즘을 적용하여 공유 특징을 표현별로 특화된 표현으로 개선함으로써 분류에 기여하는 영역을 강조한다.
• 다른 표현에 대해 서로 다른 특징 맵을 유도하도록 유도하기 위해 제안 손실을 도입하여 특징 학습을 최적화한다.
• 표현별 특징을 요소별 합산을 통해 융합하여 분류 성능 향상을 위한 개선된 특징을 형성한다.
• 융합된 표현 정제 특징을 사용하여 분류 브랜치가 표현 카테고리를 예측함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 프레임워크는 세 가지 평가 프로토콜에서 평가된다: 단일 데이터베이스(LOSO), 교차 데이터베이스(CDMER), 교차 데이터셋(CDMER) 설정.

실험 결과

연구 질문

• RQ1 표현별 특징 학습은 미세표정 인식에서 특징의 분류 능력을 향상시키는가?
• RQ2 주의 기반 제안 모듈은 미세표정에서 미세한 표현별 얼굴 변화를 효과적으로 강조하는가?
• RQ3 공유 특징만을 사용하는 것과 비교해 표현별 특징을 융합하면 분류 성능이 향상되는가?
• RQ4 제안된 기능 정제(FR) 프레임워크는 다양한 평가 프로토콜과 데이터베이스에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 방법은 표준 미세표정 인식 벤치마크에서 최고 성능(SOTA)을 달성할 수 있는가?

주요 결과

• 제안된 FR 프레임워크는 SMIC-HS, CASME II, SAMM의 세 가지 공개 미세표정 데이터베이스에서 최고 성능 또는 경쟁 가능한 성능을 달성한다.
• SMIC-HS 데이터셋에서 LOSO 프로토콜을 적용한 결과, FR은 정확도 87.80%, UAR 86.50%, UF1 86.70%를 기록한다.
• CASME II(4개 클래스)에서 LOSO 평가를 수행한 결과, FR은 정확도 85.82%, UAR 84.70%, UF1 84.90%를 달성한다.
• SAMM 데이터셋에서 LOSO 프로토콜을 적용한 결과, FR은 정확도 83.02%, UAR 81.50%, UF1 81.70%를 기록하여 뛰어난 일반화 능력을 입증한다.
• 교차 데이터셋 평가(CDMER)에서 FR은 12개의 소스-타겟 서브실험 전반에서 강력한 성능을 보이며 도메인 일반화 능력을 입증한다.
• 절단 실험 결과, 주의 메커니즘과 제안 손실이 성능 향상에 기여하며 설계 선택의 타당성을 검증한다.