[논문 리뷰] Learning Disentangled Expression Representations from Facial Images

Marah Halawa, Manuel Wöllhaf외 3명|arXiv (Cornell University)|2020. 08. 16.

Face recognition and analysis참고 문헌 26인용 수 6

한 줄 요약

이 논문은 표정 전용 특징을 신원 및 자세와 같은 다른 요소들로부터 분리함으로써, 자연스러운 이미지에서 분리된 표정 표현을 학습하기 위해 인코더 기반의 적대적 방법을 제안한다. 공유 인코더와 두 개의 분기로 구성된 모델은 적대적 훈련을 통해 AffectNet에서 60.53%의 정확도를 달성하며, 추가 데이터나 주의 메커니즘 없이도 이전 최고 성능을 초월한다.

ABSTRACT

Face images are subject to many different factors of variation, especially in unconstrained in-the-wild scenarios. For most tasks involving such images, e.g. expression recognition from video streams, having enough labeled data is prohibitively expensive. One common strategy to tackle such a problem is to learn disentangled representations for the different factors of variation of the observed data using adversarial learning. In this paper, we use a formulation of the adversarial loss to learn disentangled representations for face images. The used model facilitates learning on single-task datasets and improves the state-of-the-art in expression recognition with an accuracy of60.53%on the AffectNetdataset, without using any additional data.

연구 동기 및 목표

• 라벨이 부족한 제약 없는, 자연스러운 환경에서의 표정 인식 도전 과제를 해결한다.
• 신원, 자세 및 얼굴 특성과 같은 혼란 요인으로부터 표현 표현을 분리함으로써 모델의 일반화 능력을 향상시킨다.
• 추가 데이터 세트나 주의 메커니즘에 의존하지 않고도 최고 성능을 달성하는 방법을 개발한다.
• 표현 정보를 비표현 표현에서 억제하기 위해 적대적 손실을 사용하여 강건한 분리 구현을 보장한다.
• CASIA와 같이 새로운 데이터셋에 대해 제로샷 전이를 통해 학습된 표현의 품질을 검증한다.

제안 방법

• 공유 인코더(En_base) 뒤에 표현 특징(B_exp)을 위한 전용 분기와 비표현 특징(B_non-exp)을 위한 전용 분기로 구성된다.
• 표현 레이블을 사용한 교차 엔트로피 손실을 통해 B_exp 분기를 지도 학습 방식으로 훈련시켜 분류 가능한 표현 표현을 학습한다.
• 비표현 분기(B_non-exp)에 대해 적대적 손실(L_adv)을 적용하며, 이는 비표현 코드에서 표현을 분류하려는 시도를 하는 디스criminator(C_adv_exp)를 사용한다.
• 비표현 분기를 최적화하여 디스criminator를 속이도록 하여, 표현 정보를 포함하지 않는 표현을 학습하도록 보장한다.
• 원본 입력 이미지를 재구성할 수 있도록 조합된 코드 벡터(code_exp ⊕ code_non-exp)에 대한 복원 손실(L_r)을 사용한다.
• 초파rameter β1를 통해 복원 손실의 영향력을 조절하며, 분석 결과 복원 손실이 분리에 악영향을 미친다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 제약 없는 얼굴 이미지에서 다양한 요소로부터 표정 표현을 효과적으로 분리하는 데에 유용한가?
• RQ2 복원 손실을 제거하면 분리 성능과 후속 표정 인식 정확도가 향상되는가?
• RQ3 표현 유사도를 신원 간에 유지하는 분리된 표현을 학습함으로써 모델이 새로운 데이터셋으로 일반화할 수 있는가?
• RQ4 주의 메커니즘 또는 다중 데이터셋 사전 훈련을 사용하는 최고 성능 기법들과 비교했을 때 제안된 방법은 어떻게 성능을 내는가?
• RQ5 대칭적인 적대적 손실 전략을 사용할 경우, 신원과 표현 표현은 어느 정도까지 분리될 수 있는가?

주요 결과

• 제안된 방법은 AffectNet 데이터셋에서 60.53%의 테스트 정확도를 달성하여, 추가 데이터나 주의 메커니즘 없이도 이전 최고 성능인 58.78%를 초월한다.
• 제거 분석 결과 복원 손실(β1 > 0)이 분리에 악영향을 미치며, 이는 C_adv_exp 정확도가 53%로 상승(β1=0.001일 때)하고 표현 특징의 분리 성능이 떨어짐으로써 입증된다.
• β1 = 0일 때 모델은 최고의 분리 성능를 달성하며, C_adv_exp 정확도가 16%로 감소하여 비표현 코드가 표현 정보를 효과적으로 숨기는 것으로 나타났다.
• CASIA 데이터셋에서의 코사인 유사도 분석 결과, 동일한 표정을 가진 이미지가 신원에 관계없이 더 유사한 표현을 가지며, 분리 품질을 검증한다.
• CK+에서의 정성적 결과는 표현 교환을 통한 이미지 합성에 성공했으며, 표현 또는 신원 표현을 교환하면 신원 또는 표현에 일관된 자연스러운 이미지가 생성된다.
• 이 방법은 이전의 D2AE와 같이 디코더 네트워크가 필요 없이도 분리를 달성할 수 있음을 보여주며, 성능를 유지하면서 아키텍처를 단순화한다.