[논문 리뷰] Learn From All: Erasing Attention Consistency for Noisy Label Facial Expression Recognition

Yuhang Zhang, Chengrui Wang외 2명|arXiv (Cornell University)|2022. 07. 21.

Machine Learning and Data Classification인용 수 8

한 줄 요약

이 논문은 얼굴 표정 인식에서 노이즈 있는 레이블의 기억을 억제하기 위해 훈련 중에 이미지 뒤집기 일致성을 강제하는 새로운 방법인 Erasing Attention Consistency (EAC)를 제안한다. 이는 모델이 레이블에 관련된 특징에 집중하는 것을 방지한다. EAC는 노이즈 레이블 비율 추정치나 레이블 앙상블 없이도 노이즈가 있는 및 깨끗한 FER 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Noisy label Facial Expression Recognition (FER) is more challenging than traditional noisy label classification tasks due to the inter-class similarity and the annotation ambiguity. Recent works mainly tackle this problem by filtering out large-loss samples. In this paper, we explore dealing with noisy labels from a new feature-learning perspective. We find that FER models remember noisy samples by focusing on a part of the features that can be considered related to the noisy labels instead of learning from the whole features that lead to the latent truth. Inspired by that, we propose a novel Erasing Attention Consistency (EAC) method to suppress the noisy samples during the training process automatically. Specifically, we first utilize the flip semantic consistency of facial images to design an imbalanced framework. We then randomly erase input images and use flip attention consistency to prevent the model from focusing on a part of the features. EAC significantly outperforms state-of-the-art noisy label FER methods and generalizes well to other tasks with a large number of classes like CIFAR100 and Tiny-ImageNet. The code is available at https://github.com/zyh-uaiaaaa/Erasing-Attention-Consistency.

연구 동기 및 목표

• 클래스 간 유사성과 레이블 해석의 모호성이 모델의 일반화를 어렵게 하는 얼굴 표정 인식(FER)에서 노이즈 있는 레이블 학습 문제를 해결한다.
• 손실 기반 샘플 필터링이나 복잡한 레이블 앙상블에 의존하는 기존 방법의 한계를 극복한다. 이러한 방법들은 어려운 샘플을 노이즈 있는 샘플과 혼동하거나 높은 계산 비용을 유발할 수 있다.
• 노이즈 있는 레이블의 기억을 억제하기 위해 레이블과 관련된 특징에 집중하는 주의를 방해함으로써, 모델의 특징 학습 관점을 새롭게 제안한다.
• 아키텍처나 하이퍼파라미터 재조정 없이도, CIFAR100과 Tiny-ImageNet과 같은 많은 클래스를 가진 대규모 분류 작업에 잘 일반화되는 방법을 개발한다.
• 노이즈 비율에 대한 사전 지식이나 여러 모델을 훈련하는 것을 요구하지 않으며, 실세계 응용에 대한 실용성을 향상시킨다.

제안 방법

• 훈련 중에 입력 이미지에서 패치를 무작위로 삭제하는 비대칭 훈련 프레임워크를 설계하여 통합적 특징 학습을 장려한다.
• 이미지와 그 수평 뒤집힌 버전에 대해 유사한 주의 맵을 생성하도록 하여 뒤집기 주의 일관성을 강제한다.
• 원본 이미지와 뒤집힌 이미지의 주의 맵 간의 차이를 벌리지 않도록 하는 일관성 손실을 도입하여, 강인하고 일반화 가능한 특징 표현을 촉진한다.
• 뒤집기 주의 일관성 손실을 정규화 요소로 사용하여, 잘못된 레이블과 연결된 부분 특징에 집중하는 것을 방지함으로써 노이즈 있는 레이블의 기억을 억제한다.
• 교차 엔트로피 손실과 제안된 일관성 손실의 조합으로 모델을 엔드 투 엔드로 훈련하며, 일관성 손실의 가중치 $λ$ 는 경험적으로 조정한다.
• 얼굴 표정의 본질적 대칭성—즉, 뒤집어도 의미적 내용은 유지되지만 레이블은 유지되지 않는 특성—을 활용하여, 모델이 잠재적 진실 특징을 학습하도록 암묵적으로 이끈다.

실험 결과

연구 질문

• RQ1 이미지 뒤집기 간 주의 일관성을 강제하면 노이즈 있는 레이블의 기억을 얼굴 표정 인식에서 줄일 수 있는가?
• RQ2 손실 기반 샘플 필터링을 피하는 특징 학습 접근법이 기존 방법보다 노이즈 있는 레이블 FER에서 더 나은 성능을 내는가?
• RQ3 낮은 클래스 수를 위한 FER에 설계된 방법이 CIFAR100과 Tiny-ImageNet과 같은 고차원 분류 작업으로 잘 일반화되는가?
• RQ4 정제된 데이터와 노이즈 있는 데이터에서 다양한 레이블 노이즈 비율에 대해 EAC는 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 노이즈 있는 학습 환경에서 EAC는 노이즈 비율 추정치나 레이블 앙상블에 얼마나 의존하는가?

주요 결과

• RAF-DB에서 노이즈 있는 레이블 조건에서 EAC는 89.99%의 정확도를 달성하여 이전 최신 기술 수준 방법(RUL, 88.98%)을 초월하고 모든 기준 모델을 앞서며 성능을 냈다.
• AffectNet(7개 클래스)에서 EAC는 동일한 평가 프로토콜 하에 65.32%의 top-1 정확도를 기록했으며, 이는 이전 최신 기술 수준 방법(KTN, 63.97%)을 초월했다.
• FERPlus에서 EAC는 89.64%의 정확도를 달성하여 RUL(88.75%)과 DMUE(88.64%)를 능가했으며, 레이블 앙상블 없이도 성능을 냈다.
• 30% 노이즈가 있는 CIFAR100에서 EAC는 기준 모델 대비 top-1 정확도를 10.89%포인트 향상시켰고, 30% 노이즈가 있는 Tiny-ImageNet에서는 22.19%포인트 향상시켰다.
• EAC는 노이즈 비율 추정치나 다중 브랜치 아키텍처 없이도 다양한 데이터셋과 노이즈 수준에서 잘 일반화되며, 일관된 성능 향상을 유지했다.
• 제거 실험 결과, 일관성 손실이 $λ$ 값의 넓은 범위에서 효과적이며, RAF-DB에서 30% 노이즈 조건 하에 $λ = 5$일 때 최적 성능을 기록했다.