[논문 리뷰] Pose-aware Adversarial Domain Adaptation for Personalized Facial Expression Recognition

Guang Liang, Shangfei Wang외 1명|arXiv (Cornell University)|2020. 07. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 4

한 줄 요약

이 논문은 포즈 및 개인별 변동을 동시에 고려하는 비지도 학습 적대적 도메인 적응 방법을 제안한다. 적대적 도메인 적응, 교차 적대적 특징 분리, 재구성 학습을 통합함으로써 합성 이미지에 의존하지 않고도 포즈 및 신원에 강인한 표정 특징을 학습하며, SFEW 및 AffectNet를 포함한 여러 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Current facial expression recognition methods fail to simultaneously cope with pose and subject variations. In this paper, we propose a novel unsupervised adversarial domain adaptation method which can alleviate both variations at the same time. Specially, our method consists of three learning strategies: adversarial domain adaptation learning, cross adversarial feature learning, and reconstruction learning. The first aims to learn pose- and expression-related feature representations in the source domain and adapt both feature distributions to that of the target domain by imposing adversarial learning. By using personalized adversarial domain adaptation, this learning strategy can alleviate subject variations and exploit information from the source domain to help learning in the target domain. The second serves to perform feature disentanglement between pose- and expression-related feature representations by impulsing pose-related feature representations expression-undistinguished and the expression-related feature representations pose-undistinguished. The last can further boost feature learning by applying face image reconstructions so that the learned expression-related feature representations are more pose- and identity-robust. Experimental results on four benchmark datasets demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 얼굴 표정 인식에서 포즈 변동과 개인(신원) 변동이라는 이중 과제를 해결하기 위해.
• 라벨이 부여된 소스 도메인 데이터에서부터 라벨이 없는 새로운 대상 도메인(신규 개인)으로 지식을 전이할 수 있는 비지도 도메인 적응 프레임워크를 개발하기 위해.
• 포즈 관련 및 표정 관련 특징을 분리하여 포즈 및 신원 변화에 대한 강인성을 향상시키기 위해.
• 재구성 학습을 통해 특징 표현 품질을 향상시켜 표정 특징가 포즈 및 신원에 영향을 받지 않도록 보장하기 위해.
• 다양한 포즈, 실외 환경에서의 얼굴 표정 인식 설정에서 기존 방법들을 능가하기 위해.

제안 방법

• 포즈 및 표정 특징에 대해 별도의 도메인 구분자(디스커미네이터)를 사용하여 소스 도메인과 타겟 도메인의 분포를 정렬하는 적대적 도메인 적응 기법을 적용한다.
• 교차 적대적 학습 전략을 도입하여 포즈 구분자가 표정 특징를 구분하지 못하도록 하고, 표정 분류기가 포즈 특징를 구분하지 못하도록 하여 특징 분리를 달성한다.
• 다른 도메인의 포즈 및 표정 특징를 조합하여 원본 얼굴 이미지를 재구성함으로써 재구성 학습을 수행하며, 학습된 표현의 강인성을 강화한다.
• 적대적 도메인 적응, 교차 적대적 특징 학습, 재구성 학습의 세 가지 학습 전략을 공동으로 훈련한다.
• 소스 도메인과 타겟 도메인에 대해 별도의 인코더를 사용하며, 소스 인코더는 라벨이 부여된 데이터로 학습되고, 타겟 인코더는 적대적 목표함수를 통해 학습된다.
• 분리된 특징에서 얼굴 이미지를 재구성하기 위한 생성자 네트워크를 활용하여 학습된 표현의 품질과 분리도를 강화한다.

실험 결과

연구 질문

• RQ1 비지도 도메인 적응 프레임워크가 얼굴 표정 인식에서 포즈 및 개인 변동으로 인한 도메인 이탈을 효과적으로 줄일 수 있는가?
• RQ2 포즈 및 표정 관련 특징를 어떻게 분리할 수 있으며, 이로 인해 포즈 및 신원 변화에 대한 강인성이 향상되는가?
• RQ3 이미지 생성에 의존하지 않고도 재구성 기반 학습이 포즈 및 신원 변화에 대한 표정 특징의 강인성을 향상시킬 수 있는가?
• RQ4 제안된 방법이 다중 포즈, 실외 환경에서의 얼굴 표정 인식 벤치마크에서 기존 최신 기술 수준의 방법들을 능가하는가?
• RQ5 특히 합성 데이터나 데이터 증강에 의존하는 방법과 비교할 때, 타겟 도메인에서 라벨이 제한된 경우에 제안된 방법의 성능은 어떠한가?

주요 결과

• SFEW 데이터셋에서 제안된 방법은 평균 정확도 31.3%를 기록하여 이전 최고 성능 방법(UPADA R+adv+cross)의 30.9%를 초월한다.
• AffectNet에서 학습하고 SFEW에서 테스트한 결과, 평균 정확도 57.6%를 달성하여 이전 최고 성능 방법(UPADA R+adv+cross)의 56.3%를 뛰어넘는다.
• AffectNet 테스트 세트에서 제안된 방법은 평균 정확도 59.0%를 기록하며, 이는 다음 최고 성능 방법(UPADA R+adv+cross)의 58.3%를 초월한다.
• 희귀하거나 불균형한 표정 카테고리(예: 놀람(SU))에서도 뛰어난 성능을 보이며, AffectNet 학습 기반 SFEW에서 29.8%의 정확도를 기록하여 IPFR의 31.4%를 약간 밑돌지만 더 우수한 클래스별 균형을 확보한다.
• 제거 분석 결과, 적대적 적응, 교차 적대적 학습, 재구성 학습의 세 가지 구성 요소 모두 성능 향상에 기여하며, 특히 재구성 학습이 가장 큰 기여를 한다.
• 가짜 이미지에서 유래하는 노이즈로 인해 성능이 저하되는 GAN 기반 방법(GARN 및 IA-gen)과 달리, 실제 데이터에서 직접 강건한 특징를 학습함으로써 우수한 성능을 달성한다.