[논문 리뷰] Learning to Amend Facial Expression Representation via De-albino and Affinity

Jiawei Shi, Songhao Zhu외 1명|arXiv (Cornell University)|2021. 03. 18.

Emotion and Mood Recognition참고 문헌 39인용 수 62

한 줄 요약

CNN에서 풀링을 대체하기 위한 Amend Representation Module (ARM)을 도입하여 패딩 침식(알비노 특징)을 해결하고 표정 간 친화성을 활용해 FER 정확도를 높이며; RAF-DB, AffectNet, SFEW에서 최첨단 결과를 달성한다.

ABSTRACT

Facial Expression Recognition (FER) is a classification task that points to face variants. Hence, there are certain affinity features between facial expressions, receiving little attention in the FER literature. Convolution padding, despite helping capture the edge information, causes erosion of the feature map simultaneously. After multi-layer filling convolution, the output feature map named albino feature definitely weakens the representation of the expression. To tackle these challenges, we propose a novel architecture named Amending Representation Module (ARM). ARM is a substitute for the pooling layer. Theoretically, it can be embedded in the back end of any network to deal with the Padding Erosion. ARM efficiently enhances facial expression representation from two different directions: 1) reducing the weight of eroded features to offset the side effect of padding, and 2) decomposing facial features to simplify representation learning. Experiments on public benchmarks prove that our ARM boosts the performance of FER remarkably. The validation accuracies are respectively 90.42% on RAF-DB, 65.2% on Affect-Net, and 58.71% on SFEW, exceeding current state-of-the-art methods. Our implementation and trained models are available at https://github.com/JiaweiShiCV/Amend-Representation-Module.

연구 동기 및 목표

• CNN 기반 FER에서 패딩으로 인한 알비노 특징 침식을 식별하고 완화한다.
• 표정 관련 정보를 보존하기 위한 풀링 대체로 ARM을 제안한다.
• 표정 간 친화를 활용하여 표현 학습을 단순화한다.
• 표준 FER 데이터셋에서 향상을 시연하고 구성요소를 검증하기 위한 ablation 연구를 제공한다.

제안 방법

• 풀링을 억제하는 De-albino(DA) 블록으로 교체하여 가장자리에서 침식된 특징을 억제한다.
• 패딩 없이 특징 맵을 재배열하는 Feature Arrangement(FA) 블록을 사용한다.
• EMA 기반 친화성을 통해 일반적 표현 구성요소와 고유한 표현 구성요소를 모델링하기 위해 Sharing Affinity(SA) 블록을 도입한다.
• ResNet-18 백본에 ARM을 포함하고 Adam 옵티마이저와 표준 FER 프로토콜로 학습한다.
• 세밀한 미세조정 중 AffectNet 데이터를 균형 맞추기 위해 선택적으로 최소 랜덤 재샘플링(MRR)을 적용한다.

실험 결과

연구 질문

• RQ1 패딩으로 인한 알비노 특징이 FER 표현을 저하시킬 수 있으며 이를 패딩 없이 완화할 수 있는가?
• RQ2 특징 맵을 재배열하고 재가중하는 모듈이 야생 데이터셋에서 FER 성능을 향상시키는가?
• RQ3 표정 간 친화성 기반 표현이 FER 작업에서 측정 가능한 이점을 제공하는가?

주요 결과

데이터셋	방법	정확도
RAF-DB	ResNet-18 (ARM)	90.42%
AffectNet (7 cls)	ResNet-18 (ARM)	65.2%
SFEW	ResNet-18 (ARM)	58.71%

• ARM은 RAF-DB에서 ResNet-18의 성능을 86.4에서 90.42 WA로 향상시켰다(최첨단).
• AffectNet(7클래스)에서 65.2% 정확도, SFEW(7클래스/8클래스 변형 참조)에서 58.71%를 달성한다.
• Ablation은 DA 및 SA 블록이 명확한 이점을 제공하며 FA가 DA를 보조하여 추가 개선을 가져오는 것을 보여준다.
• ARM은 평가 데이터셋에서 여러 베이스라인 및 최첨단 FER 방법들을 능가한다.