[논문 리뷰] Affect Expression Behaviour Analysis in the Wild using Consensual Collaborative Training

Darshan Gera, S. Balasubramanian|arXiv (Cornell University)|2021. 07. 08.

Emotion and Mood Recognition참고 문헌 34인용 수 4

한 줄 요약

이 논문은 약간의 노이즈가 있는 레이블을 가진 야외 환경에서의 표정 인식을 위한 강건한 딥러닝 프레임워크인 공감적 협동 학습(CCT)을 제안한다. 이는 세 개의 네트워크를 동적으로 감독 손실과 일致성 손실의 조합으로 공학적으로 학습시켜 노이즈가 있는 레이블의 영향을 줄인다. 이 방법은 Aff-Wild2 데이터셋에서 여러 경쟁 기법들을 능가하며, 3개의 네트워크를 사용하고 AffectNet에서 미세조정을 수행한 설정에서 검증 세트에서 총점 0.4814를 기록하여, 오디오나 랜드마크 특징을 사용하지 않고도 노이즈가 많은 실생활 조건에서도 뛰어난 일반화 성능을 보였다.

ABSTRACT

Facial expression recognition (FER) in the wild is crucial for building reliable human-computer interactive systems. However, annotations of large scale datasets in FER has been a key challenge as these datasets suffer from noise due to various factors like crowd sourcing, subjectivity of annotators, poor quality of images, automatic labelling based on key word search etc. Such noisy annotations impede the performance of FER due to the memorization ability of deep networks. During early learning stage, deep networks fit on clean data. Then, eventually, they start overfitting on noisy labels due to their memorization ability, which limits FER performance. This report presents Consensual Collaborative Training (CCT) framework used in our submission to expression recognition track of the Affective Behaviour Analysis in-the-wild (ABAW) 2021 competition. CCT co-trains three networks jointly using a convex combination of supervision loss and consistency loss, without making any assumption about the noise distribution. A dynamic transition mechanism is used to move from supervision loss in early learning to consistency loss for consensus of predictions among networks in the later stage. Co-training reduces overall error, and consistency loss prevents overfitting to noisy samples. The performance of the model is validated on challenging Aff-Wild2 dataset for categorical expression classification. Our code is made publicly available at https://github.com/1980x/ABAW2021DMACS.

연구 동기 및 목표

• Aff-Wild2와 같은 대규모 야외 표정 인식 데이터셋에서 발생하는 노이즈가 있는 레이블 문제를 다루어, 딥 네트워크의 기억 현상으로 인해 성능이 저하되는 것을 방지하기 위함이다.
• 노이즈 분포나 아키텍처 제약에 대한 사전 지식이 필요 없는 노이즈에 강건한 훈련 프레임워크를 개발하기 위함이다.
• 훈련 중에 다수의 네트워크 간의 공감을 활용하여 표정 인식의 일반화 성능을 향상시키기 위함이다.
• ABAW 2021 경쟁 대회에서 도전적인 Aff-Wild2 데이터셋에서 제안된 방법의 효과성을 검증하기 위함이다.

제안 방법

• 동일한 아키텍처를 가진 세 개의 딥 네트워크를 서로 다른 무작위 초기화로 공훈련하여 다양한 학습 경로를 유도하고 개별 오차 누적를 줄인다.
• 훈련 손실은 교차 엔트로피 감독 손실과 일치성 손실의 볼록 조합이며, 시간이 지남에 따라 감독에서 공감으로 전환되는 가우시안 유사 램프업 함수를 통해 동적으로 균형을 맞춘다.
• 일치성 손실은 세 개의 네트워크 예측의 후행 분포를 정렬함으로써 예측 간 일치를 강제하여 노이즈가 있는 레이블에 대한 과적합을 방지한다.
• 동적 가중 요소 λ는 초기에는 감독 손실을 강조하다가 점차 일치성 손실을 우선시하여, 먼저 깨끗한 데이터에서 학습하고 나중에는 어려운 샘플에 대해 공감을 형성하도록 한다.
• 이 프레임워크는 아키텍처에 종속되지 않으며, 특정한 노이즈 분포를 가정하지 않아 노이즈가 있는 FER 데이터셋에 널리 적용 가능하다.
• AffectNet과 같은 대규모 데이터셋에서의 미세조정은 성능 향상에 기여하며, 추론 실험을 통해 세 개의 네트워크 설정과 일치성 손실의 효과가 입증되었다.

실험 결과

연구 질문

• RQ1 감독 손실에서 일치성 손실로의 동적 전환을 통해 세 개의 딥 네트워크를 함께 훈련시키는 방식이 노이즈가 있는 레이블의 영향을 줄일 수 있는가?
• RQ2 감독 손실과 일치성 손실 간의 동적 균형이 노이즈가 있는 야외 데이터셋에서의 모델 일반화에 어떤 영향을 미치는가?
• RQ3 레이블 노이즈가 존재할 경우 협동 훈련을 위한 최적의 네트워크 수는 몇 개인가?
• RQ4 AffectNet과 같은 대규모 데이터셋에서의 미세조정이 CCT 프레임워크에서 성능 향상에 기여하는가?
• RQ5 감독 손실만 사용하는 것과 비교해 일치성 손실을 포함하는 것이 어떤가?

주요 결과

• 세 개의 네트워크로 구성된 CCT 설정이 Aff-Wild2 검증 세트에서 가장 높은 성능을 기록하여 총점 0.4814를 달성했으며, 한 개, 두 개, 네 개의 네트워크를 사용한 모델들을 모두 능가했다.
• β = 4.0로 설정한 동적 균형 요소가 가장 우수한 성능(총점 0.4814)을 기록하여 감독 손실에서 일치성 손실으로의 전환 시점이 최적임을 시사했다.
• AffectNet에서의 미세조정은 RAFDB나 MS-Celeb-1M보다 성능을 크게 향상시켰다(F1: 0.4040, 정확도: 0.6378)며, 대규모 FER에 있어 AffectNet의 가치를 확인했다.
• 오버샘플링은 성능 향상에 기여하지 않아 최종 훈련에서 제외되었으며, 최고의 모델은 오버샘플링 없이 훈련되었다.
• 감독 손실만 사용했을 때 총점 0.445에서 일치성 손실을 포함시킨 결과 총점 0.454로 향상되어, 노이즈 레이블에 대한 과적합을 줄이는 데 효과적임을 입증했다.
• 테스트 세트에서 F1 점수 0.4646을 기록하여 오디오나 비디오 특징을 사용하지 않음에도 불구하고 ABAW 2021 표정 분류 트랙에서 상위 순위에 진입했다.