[논문 리뷰] A Systematic Evaluation of Domain Adaptation in Facial Expression Recognition.

Yan Kong, Varsha Suresh외 2명|arXiv (Cornell University)|2021. 06. 29.

Emotion and Mood Recognition참고 문헌 42인용 수 5

한 줄 요약

이 논문은 6개의 데이터셋(3개의 실험실 기반 및 3개의 실외 환경 기반)을 대상으로 최신의 CNN을 사용하여 얼굴 표정 인식에서 도메인 적응을 체계적으로 평가한다. 라운드로빈 전이 학습 실험을 통해 수행된 결과, 이질적인 타겟 도메인 간 전이 성능은 일관되지 않으며, 미세조정(fine-tuning)이 가장 우수한 성능을 보였고, 다중 소스 학습이 일반화 능력을 향상시켰다. 이는 실제 적용 환경에서 FER 모델의 강인성에 대해 더 철저한 평가가 필요하다는 점을 시사한다.

ABSTRACT

Facial Expression Recognition is a commercially important application, but one common limitation is that applications often require making predictions on out-of-sample distributions, where target images may have very different properties from the images that the model was trained on. How well, or badly, do these models do on unseen target domains? In this paper, we provide a systematic evaluation of domain adaptation in facial expression recognition. Using state-of-the-art transfer learning techniques and six commonly-used facial expression datasets (three collected in the lab and three in-the-wild), we conduct extensive round-robin experiments to examine the classification accuracies for a state-of-the-art CNN model. We also perform multi-source experiments where we examine a model's ability to transfer from multiple source datasets, including (i) within-setting (e.g., lab to lab), (ii) cross-setting (e.g., in-the-wild to lab), (iii) mixed-setting (e.g., lab and wild to lab) transfer learning experiments. We find sobering results that the accuracy of transfer learning is not high, and varies idiosyncratically with the target dataset, and to a lesser extent the source dataset. Generally, the best settings for transfer include fine-tuning the weights of a pre-trained model, and we find that training with more datasets, regardless of setting, improves transfer performance. We end with a discussion of the need for more -- and regular -- systematic investigations into the generalizability of FER models, especially for deployed applications.

연구 동기 및 목표

• 다양한 분포를 가진 외부 데이터셋에서 얼굴 표정 인식(FER) 모델의 일반화 성능를 평가하기 위해.
• FER에서 소스 도메인에서 타겟 도메인으로 전이할 때 도메인 이동이 분류 정확도에 미치는 영향을 조사하기 위해.
• 다양한 도메인 설정에서 미세조정 및 다중 소스 학습과 같은 전이 학습 전략의 효과를 평가하기 위해.
• 특히 실험실 대비 실외 환경 설정을 기준으로 소스 및 타겟 데이터셋 특성에 따라 전이 성능의 패턴을 규명하기 위해.
• 실제 응용에서 FER 모델의 일반화 능력을 더 체계적이고 정기적으로 평가할 것을 촉구하기 위해.

제안 방법

• 3개의 실험실 기반 및 3개의 실외 환경 기반 얼굴 표정 데이터셋 총 6개에서 라운드로빈 전이 학습 실험을 수행함.
• 한 데이터셋에서 사전 학습된 최신의 CNN 모델을 사용하여 타겟 데이터셋에서 가중치를 미세조정함으로써 전이 성능를 평가함.
• 실험실 및 실외 데이터셋 조합을 사용하여 다중 소스 전이 학습을 수행한 후 타겟 도메인에서 테스트함.
• 세 가지 전이 설정에서 성능를 평가함: 동일 설정 내 전이(예: 실험실 → 실험실), 교차 설정 전이(예: 실외 → 실험실), 혼합 설정 전이(예: 실험실 및 실외 → 실험실).
• 분류 정확도와 같은 표준 지표를 사용하여 다양한 소스-타겟 조합 간의 모델 성능를 비교함.

실험 결과

연구 질문

• RQ1 얼굴 표정 인식에서 다양한 소스-타겟 도메인 조합 간 전이 학습 성능는 어떻게 변화하는가?
• RQ2 교차 도메인 FER에서 미세조정과 다른 전이 학습 전략 간 상대적 효과는 어떠한가?
• RQ3 다양한 소스 데이터셋(설정과 관계없이)에서 동시에 학습하면, 예측할 수 없는 타겟 도메인으로의 전이 성능가 향상되는가?
• RQ4 실험실 기반 데이터셋과 실외 환경 데이터셋은 전이 가능성 및 모델 일반화 능력 측면에서 어떻게 비교되는가?
• RQ5 데이터셋 특성 또는 도메인 유사성에 기반해 전이 성능를 얼마나 예측할 수 있는가?

주요 결과

• 얼굴 표정 인식에서 전이 학습 성능는 타겟 데이터셋 간에 일관되지 않으며, 도메인 간에 항상 높은 정확도를 보이지 않음.
• 사전 학습된 CNN 모델의 가중치를 미세조정하면 모든 테스트 설정에서 가장 우수한 전이 성능를 기록함.
• 다양한 소스 데이터셋에서 학습함으로써(설정과 관계없이) 전이 성능가 향상됨을 확인하여, 데이터 다양성이 일반화 능력을 향상시킴을 시사함.
• 교차 설정 전이(예: 실외 → 실험실)는 동일 설정 전이보다 일반적으로 성능가 열 劣하므로, 도메인 이동이 정확도에 심각한 영향을 미침을 확인함.
• 예측할 수 없는 타겟 도메인에서 FER 모델의 성능는 특성에 따라 다양하며, 단지 소스 데이터셋만으로는 신뢰할 만하게 예측할 수 없음.
• 본 연구는 실생활 적용에서 FER 모델의 일반화 능력을 더 체계적이고 정기적으로 평가할 필요성이 긴급히 필요하다고 강조함.