[논문 리뷰] ARBEx: Attentive Feature Extraction with Reliability Balancing for Robust Facial Expression Learning

Azmine Toushik Wasi, Karlo Šerbetar외 3명|arXiv (Cornell University)|2023. 05. 02.

Emotion and Mood Recognition인용 수 9

한 줄 요약

ARBEx는 편향, 불확실성 및 얼굴 표정 학습(FEL)에서의 부실한 클래스 분포를 다루기 위해 학습 가능한 앵커와 다중頭 자가 주의 메커니즘을 이용한 Window-Based Cross-Attention Vision Transformer 기반의 주의적 특징 추출 프레임워크를 도입하여 데이터셋 전반에서 최첨단 성능을 달성합니다.

ABSTRACT

In this paper, we introduce a framework ARBEx, a novel attentive feature extraction framework driven by Vision Transformer with reliability balancing to cope against poor class distributions, bias, and uncertainty in the facial expression learning (FEL) task. We reinforce several data pre-processing and refinement methods along with a window-based cross-attention ViT to squeeze the best of the data. We also employ learnable anchor points in the embedding space with label distributions and multi-head self-attention mechanism to optimize performance against weak predictions with reliability balancing, which is a strategy that leverages anchor points, attention scores, and confidence values to enhance the resilience of label predictions. To ensure correct label classification and improve the models' discriminative power, we introduce anchor loss, which encourages large margins between anchor points. Additionally, the multi-head self-attention mechanism, which is also trainable, plays an integral role in identifying accurate labels. This approach provides critical elements for improving the reliability of predictions and has a substantial positive effect on final prediction capabilities. Our adaptive model can be integrated with any deep neural network to forestall challenges in various recognition tasks. Our strategy outperforms current state-of-the-art methodologies, according to extensive experiments conducted in a variety of contexts.

연구 동기 및 목표

• 얼굴 표정 학습(FEL)에서의 편향, 불확실성 및 클래스 분포 문제를 해결한다.
• 교차 주의 및 다중 스케일 특징을 활용한 Vision Transformer를 이용한 강건한 특징 추출 파이프라인을 개발한다.
• 레이블 분포의 안정화를 위한 앵커 포인트와 주의적 보정을 도입한다.
• FEL 데이터에서 과적합을 완화하기 위해 강도 높은 데이터 증강 및 데이터 정제와 함께 학습 파이프라인을 제공한다.

제안 방법

• 이미지 백본과 얼굴 랜드마크에서 다단계 특징을 윈도우 기반 교차 주의 ViT (W-MCSA)로 융합하여 768-d 임베딩을 만든 뒤 분류를 위해 128-d 선형 차원 축소를 수행한다.
• 임베딩 e에서 임베딩으로부터의 주 분류 분포 l = softmax(f(e))를 계산하고 정규화 엔트로피를 통해 신뢰도를 추정한다.
• 학습 가능한 앵커 a^{i,j}를 임베딩 공간에 두고 다중-헤드 자기 주의를 활용하여 앵커 기반 보정 t_g와 주의적 보정 t_a를 도출하는 신뢰성 균형을 도입한다.
• 보정을 가중 방식으로 결합하여 최종 라벨 분포 L_final을 만들고 신뢰도 기반 가중치로 조절한다.
• 클래스 분포 손실, 앵커 손실(앵커 간 마진 최대화), 중심 손실(임베딩을 클래스 앵커 쪽으로 당김)을 포함하는 합성 손실로 학습한다.
• 표현 간 균형 있고 다양한 학습 배치를 보장하기 위한 강도 높은 데이터 증강 및 데이터 정제 전략을 채택한다.

Figure 1: A synopsis of ARBEx . Feature Extraction provides feature maps to generate initial predictions. Confidence distributions of initial labels are mostly inconsistent, unstable and unreliable. Reliability Balancing approach aids in stabilizing the distributions and addressing inconsistent and

실험 결과

연구 질문

• RQ1 앵커와 주의에 의한 신뢰성 균형이 편향되거나 불균형한 레이블 분포하에서 FEL 성능을 향상시킬 수 있는가?
• RQ2 윈도우 기반 교차 주의 ViT가 다중 스케일 특징과 랜드마크를 효과적으로 융합하여 robust한 표정 인식에 기여하는가?
• RQ3 앵커 기반 보정과 주의적 보정이 라벨 신뢰성과 최종 예측 신뢰도에 어떤 영향을 미치는가?
• RQ4 강도 높은 증강과 데이터 정제가 FEL 벤치마크에서 과적합을 방지하는 데 어떤 이점을 주는가?

주요 결과

• ARBEx 프레임워크는 다양한 데이터셋(Aff-Wild2, RAF-DB, JAFFE, FER 관련 벤치마크)에서 많은 최첨단 FEL 시스템을 능가한다.
• 학습 가능한 앵커와 다중-헤드 주의를 활용한 신뢰성 균형은 라벨 분포를 안정화시키고 라벨 노이즈나 편향 하에서 예측 신뢰도를 향상시킨다.
• 다중 스케일 특징 융합을 갖춘 윈도우 기반 교차 주의 ViT는 얼굴 표정 분류에 효과적인 강건한 임베딩을 생성한다.
• 실험에서는 정확도에 대한 K 값의 영향이 나타났으며, 더 높은 K 값 이후 수익이 감소하는 경향이 있어 적정 앵커 수의 최적점이 존재한다.
• 앵커 손실, 중심 손실 및 클래스 분포 손실의 조합이 임베딩의 판별력과 안정성을 향상시킨다.

Figure 2: Pipeline of ARBEx . Heavy Augmentation is applied to the input images and Data Refinement method selects training batch with properly distributed classes for each epoch. Window-Based Cross-Attention ViT framework uses mutli-level feature extraction and integration to provide embeddings (Fe