[논문 리뷰] Dive into Ambiguity: Latent Distribution Mining and Pairwise Uncertainty Estimation for Facial Expression Recognition

Jiahui She, Yibo Hu외 4명|arXiv (Cornell University)|2021. 04. 01.

Face and Expression Recognition참고 문헌 49인용 수 13

한 줄 요약

이 논문은 애매한 레이블을 다루기 위해 잠재 분포 탐색과 쌍별 불확실성 추정을 활용하는 새로운 엔드 투 엔드 프레임워크인 DMUE를 제안한다. 상위 인스턴스 간 관계를 통해 레이어별로 레이블 분포를 동적으로 학습하고 표본 수준의 불확실성을 추정함으로써, DMUE는 추론 오버헤드 없이도 최신 기술 수준의 성능을 달성한다 — RAF-DB에서 89.42% 및 AffectNet에서 63.11%의 성능을 기록한다.

ABSTRACT

Due to the subjective annotation and the inherent interclass similarity of facial expressions, one of key challenges in Facial Expression Recognition (FER) is the annotation ambiguity. In this paper, we proposes a solution, named DMUE, to address the problem of annotation ambiguity from two perspectives: the latent Distribution Mining and the pairwise Uncertainty Estimation. For the former, an auxiliary multi-branch learning framework is introduced to better mine and describe the latent distribution in the label space. For the latter, the pairwise relationship of semantic feature between instances are fully exploited to estimate the ambiguity extent in the instance space. The proposed method is independent to the backbone architectures, and brings no extra burden for inference. The experiments are conducted on the popular real-world benchmarks and the synthetic noisy datasets. Either way, the proposed DMUE stably achieves leading performance.

연구 동기 및 목표

• 주관적인 레이블링과 클래스 간 유사성으로 인해 지속적으로 발생하는 표정 인식의 레이블 애매함 문제를 해결하기 위해.
• 모델의 강건성을 향상시키기 위해 애매한 시각적 특징을 더 잘 반영하는 잠재 레이블 분포를 탐색하기 위해.
• 샘플 간 쌍별 의미적 관계를 활용해 인스턴스 수준의 불확실성을 추정하기 위해.
• 추정된 불확실성에 기반해 탐색된 분포와 원래 레이블 간의 학습 집중을 동적으로 조정하면서 추론 비용을 증가시키지 않기 위해.
• 실제 세계 및 합성 노이즈 데이터 기반 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 레이블 공간 내에서 반복적으로 잠재 레이블 분포를 탐색하고 개선하기 위한 보조 다중 브런치 학습 프레임워크를 도입한다.
• 샘플 간 의미적 특징 관계를 활용하여 애매함을 정량화하는 쌍별 불확실성 추정 모듈을 적용한다.
• 특징 벡터와 클래스 중심 간의 각도 통계에서 유도된 신뢰도 점수를 사용해 불확실성을 추정한다.
• 추정된 불확실성에 기반해 원래 레이블과 탐색된 분포를 가중치로 조정하여 학습 손실을 동적으로 조정한다.
• 백본에 종속되지 않은 프레임워크를 설계하고 추론 시 모든 보조 구성 요소를 제거함으로써 추가적인 계산 비용 없이 구현한다.
• 인간 레이블러의 정규화된 투표 메커니즘을 적용하여 탐색된 분포가 인간 인식과 일관성을 보임을 검증한다.

Figure 1 : User study results by 50 volunteers on two randomly picked images. The red (purple) bar represents the most (secondary) possible class given by the volunteers. The results provide insights that the annotations may be inconsistent among the users.

실험 결과

연구 질문

• RQ1 어떻게 애매한 얼굴 표정 데이터에서 엔드 투 엔드로 학습 가능한 방식으로 잠재 레이블 분포를 효과적으로 탐색할 수 있는가?
• RQ2 샘플 간 쌍별 관계는 얼굴 표정 인식에서 불확실성 추정에 얼마나 기여하는가?
• RQ3 인스턴스 간 관계 기반 불확실성 추정은 애매하고 노이즈가 많은 데이터에서 모델 일반화 능력을 향상시키는 데 효과적인가?
• RQ4 기존 방법들과 비교해 본다면, 제안된 방법은 실제 세계 및 합성 노이즈 데이터 세트를 다루는 데 어떻게 성능를 발휘하는가?
• RQ5 다양한 데이터 분포와 배치 설정 간에 이 프레임워크는 성능 안정성과 일관성을 유지하는가?

주요 결과

• DMUE는 RAF-DB 벤치마크에서 기존 방법을 능가하는 새로운 최신 기술 수준의 정확도 89.42%를 달성한다.
• AffectNet 데이터셋에서 DMUE는 63.11%의 정확도를 기록하여 이 벤치마크에 새로운 기록을 수립한다.
• 50명의 참가자로 구성된 사용자 연구를 통해 정규화된 투표 분포를 검증한 결과, 탐색된 잠재 분포는 인간의 주관적 인식과 밀접하게 일치한다.
• 안정적인 예측을 동일한 레이블을 가진 앵커 이미지에 대해 보여주며, 불확실성 추정 모듈이 배치 간 일관성 있는 신뢰도 점수를 생성함을 입증한다.
• 프레임워크는 애매한 샘플의 부정적 영향을 효과적으로 억제하여 추론 비용 증가 없이도 모델의 강건성을 향상시킨다.
• 시각화 결과는 낮은 불확실성 점수를 가진 이미지가 인간 자원 봉사자에 의해 더 애매하게 평가된다는 것을 확인한다.

Figure 2 : Overview of the DMUE. $\bm{y}$ denotes the set of annotations of images in a batch. $\bm{\widetilde{y}}$ denotes the set of mined latent distributions of images in a batch.