[논문 리뷰] Multitask Emotion Recognition with Incomplete Labels

Didan Deng, Zhaokang Chen외 1명|arXiv (Cornell University)|2020. 02. 10.

Emotion and Mood Recognition참고 문헌 34인용 수 14

한 줄 요약

이 논문은 부족한 레이블을 가진 다중 작업 얼굴 정서 인식을 위한 교사-학생 소프트 레이블 정규화 프레임워크를 제안한다. 여기서 교사 모델은 부분적인 진정 레이블로 훈련되어 다수의 학생 모델을 감독하기 위한 소프트 레이블을 생성한다. 학생 모델은 얼굴 동공 단위 검출, 정서 분류, 밸런스-각성도 추정에서 교사 모델을 능가하며, 특히 앙상블된 경우 보다 향상된 일반화 성능을 보여주어 완전하지만 부정확한 감독에서의 성능 향상을 입증한다.

ABSTRACT

We train a unified model to perform three tasks: facial action unit detection, expression classification, and valence-arousal estimation. We address two main challenges of learning the three tasks. First, most existing datasets are highly imbalanced. Second, most existing datasets do not contain labels for all three tasks. To tackle the first challenge, we apply data balancing techniques to experimental datasets. To tackle the second challenge, we propose an algorithm for the multitask model to learn from missing (incomplete) labels. This algorithm has two steps. We first train a teacher model to perform all three tasks, where each instance is trained by the ground truth label of its corresponding task. Secondly, we refer to the outputs of the teacher model as the soft labels. We use the soft labels and the ground truth to train the student model. We find that most of the student models outperform their teacher model on all the three tasks. Finally, we use model ensembling to boost performance further on the three tasks.

연구 동기 및 목표

• 데이터셋에서 정면 동공 단위, 정서, 밸런스-각성도의 세 가지 레이블 유형을 모두 포함하지 않는 경우가 흔한 다중 작업 얼굴 정서 인식에서 레이블이 누락된 상황에서의 학습 과제를 해결한다.
• 특히 정서 분류 및 동공 단위 검출과 같은 분류 작업에 영향을 미치는 정서 데이터셋의 데이터 불균형 문제를 완화한다.
• 진정 레이블이 일부 작업에 대해 누락된 경우에도 교사 모델의 소프트 레이블을 활용해 학생 모델을 훈련할 수 있는 일반적이고 아키텍처에 구애받지 않는 방법을 개발한다.
• 공유된 특징 학습을 통한 작업 간 상관관계를 활용해 단일 작업 기반 베이스라인을 초월한 일반화 및 성능 향상을 도모한다.
• 진정 레이블이 없는 경우에도 교사 모델의 소프트 레이블에서 유도된 학생 모델이 교사 모델을 능가함을 입증한다. 특히 앙상블된 경우에 더욱 두드러진다.

제안 방법

• 각 인스턴스의 가용한 진정 레이블만을 사용해 세 가지 작업 모두에 대해 교사 모델을 훈련하며, 각 작업은 해당 작업의 레이블에 대해 별도로 훈련된다.
• 교사 모델의 출력을 소프트 레이블로 사용한다. 즉, 클래스에 대한 확률 분포를 모든 작업에 대해 제공하며, 진정 레이블이 누락된 인스턴스에도 적용된다.
• 가용한 진정 레이블과 교사 모델의 소프트 레이블을 모두 사용해 다수의 학생 모델을 훈련하며, 두 소스의 감독을 통합한다.
• 소수 클래스의 오버샘플링과 다수 클래스의 언더샘플링을 포함한 데이터 균형 기법을 적용해 분류 작업에서의 클래스 불균형 문제를 완화한다.
• 공유된 백본 네트워크와 작업별 헤드를 사용해 특징 공유와 모델 파rameter 효율성을 달성한다.
• 성능 향상을 위해 모델 앙상블을 적용하여 다수의 학생 모델 예측을 통합한다.

실험 결과

연구 질문

• RQ1 부족한 레이블이 있는 다중 작업 정서 인식에서, 교사 모델의 소프트 레이블로 훈련된 학생 모델이 교사 모델을 능가할 수 있는가?
• RQ2 데이터 균형 기법은 다중 작업 정서 인식에서 성능 향상에 기여하는가? 그리고 분류 작업과 회귀 작업(밸런스-각성도)에 대해 다르게 영향을 미치는가?
• RQ3 공유된 특징과 소프트 레이블 정규화를 갖춘 교사-학생 프레임워크는 다수의 정서 인식 작업에서 레이블이 누락된 상황을 효과적으로 다룰 수 있는가?
• RQ4 부족한 감독 하에 훈련된 교사 모델의 지식 정규화는 진정 레이블이 희박한 경우에 비해 학생 모델의 일반화 성능을 향상시키는가?
• RQ5 부족한 레이블이 존재하는 상황에서 모델 앙상블은 얼굴 동공 단위 검출, 정서 분류, 밸런스-각성도 추정에서 성능에 어떤 영향을 미치는가?

주요 결과

• 학생 모델은 검증 및 테스트 세트에서 모두 얼굴 동공 단위 검출, 정서 분류, 밸런스-각성도 추정의 세 작업에서 교사 모델을 일관되게 능가했다.
• 학생 앙상블은 최고의 성능을 기록했으며, CNN-RNN 아키텍처와 시퀀스 길이 32를 사용할 경우 얼굴 동공 단위 검출에서 F1 스코어 0.607, 각성도 추정에서 F1 스코어 0.454를 기록했다.
• CNN-RNN 모델의 시퀀스 길이 32를 사용한 경우, 학생 앙상블은 얼굴 동공 단위에서 F1 스코어 0.607, 정서 분류에서 0.405, 밸런스에서 0.440, 각성도에서 0.454를 기록했다.
• 데이터 균형 기법은 분류 작업에서 성능 향상을 이끌었으며, 예를 들어 AU 검출에서 F1 스코어가 0.5465에서 0.5802로 상승했다. 반면, 회귀 작업에는 미미한 영향을 미쳤다.
• 소프트 레이블 정규화를 적용한 교사-학생 프레임워크는 교사 모델이 동일한 데이터로 훈련된 경우조차도 진정 레이블만으로 훈련하는 것보다 더 우수한 일반화 성능을 보였다.
• 이 방법은 특정 신경망 아키텍처를 가정하지 않기 때문에 정서 인식을 초월한 일반적인 적용이 가능하다.