[논문 리뷰] Addressing Ambiguity of Emotion Labels Through Meta-Learning

Takuya Fujioka, Dario Bertero외 2명|arXiv (Cornell University)|2019. 11. 06.

Face and Expression Recognition참고 문헌 19인용 수 10

한 줄 요약

이 논문은 음성 정서 인식에서 훈련 중에 모호한 정서 레이블을 동적으로 보정하고 샘플 중요도를 추정하는 메타학습 접근법을 제안한다. BLSTM과 어텐션 모델, 학습된 레이블 분포($\bm{L}$), 샘플 가중치($\bm{w}$)를 번갈아 최적화함으로써 IEMOCAP 데이터셋에서 성능을 향상시켰으며, 가중치 평균 정확도 65.9%와 비가중치 평균 정확도 61.4%를 달성하여 BLSTM과 어テン션 기반 베이스라인보다 각각 2.5%와 2.7% 높은 성능을 보였다.

ABSTRACT

Emotion labels in emotion recognition corpora are highly noisy and ambiguous, due to the annotators' subjective perception of emotions. Such ambiguity may introduce errors in automatic classification and affect the overall performance. We therefore propose a dynamic label correction and sample contribution weight estimation model. Our model is based on a standard BLSTM model with attention with two extra parameters. The first learns a new corrected label distribution, and is aimed to fix the inaccurate labels from the dataset. The other instead estimates the contribution of each sample to the training process, and is aimed to ignore the ambiguous and noisy samples while giving higher weight to the clear ones. We train our model through an alternating optimization method, where in the first epoch we update the neural network parameters, and in the second we keep them fixed to update the label correction and sample importance parameters. When training and evaluating our model on the IEMOCAP dataset, we obtained a weighted accuracy (WA) and unweighted accuracy (UA) of respectively 65.9% and 61.4%. This yielded an absolute improvement of 2.5%, 2.7% respectively compared to a BLSTM with attention baseline, trained on the corpus gold labels.

연구 동기 및 목표

• 음성 정서 인식 데이터셋에서 인간 레이블러가 제공한 정서 레이블의 높은 노이즈와 모호성 문제를 해결하기 위해.
• 훈련 중에 잘못 레이블링되거나 모호한 발화로 인해 모델 성능 저하를 줄이기 위해.
• 훈련 중에 레이블을 동적으로 보정하고 샘플 기여도 가중치를 추정하여 분류의 강건성을 향상시키기 위해.
• 정서 인식 데이터셋에서의 클래스 불균형과 주관적 레이블링 편향의 영향을 완화하기 위해.
• 반복적인 레이블 보정과 샘플 가중치 학습을 통해 노이즈가 많은 레이블에서 학습하여 기존의 베이스라인을 능가하기 위해.

제안 방법

• 이 방법은 BLSTM과 어텐션을 기반으로 한 정서 분류 모델을 사용한다.
• 각 샘플마다 두 개의 학습 가능한 파라미터를 도입한다: 정확하지 않은 애너테이션을 수정하기 위한 보정된 레이블 분포 $\bm{L}_n$과, 모호한 샘플의 영향을 줄이기 위한 샘플 기여도 가중치 $\bm{w}_n$.
• 훈련은 번갈아 최적화 방식으로 진행되며, 먼저 신경망 파라미터를 업데이트하고, 그 다음 이를 고정한 상태에서 $\bm{L}_n$과 $\bm{w}_n$을 전체 손실을 최소화하도록 업데이트한다.
• 레이블 보정 $\bm{L}_n$은 예측된 레이블과 보정된 레이블 간의 교차 엔트로피 손실을 최소화하도록 학습된다.
• 샘플 가중치 $\bm{w}_n$은 모호한 샘플의 손실 기여도를 줄이기 위해 최적화되며, 더 명확하고 신뢰도가 높은 샘플에 더 높은 가중치가 할당된다.
• 이 프레임워크는 IEMOCAP 데이터셋에서 두 단계의 번갈아 최적화 스케줄을 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 훈련 중에 동적으로 레이블을 보정하는 것이 음성 정서 인식에서 모호하고 노이즈가 많은 정서 애너테이션의 영향을 줄일 수 있는가?
• RQ2 각 샘플의 기여도 가중치를 학습함으로써 클래스 불균형과 노이즈가 많은 데이터셋에서 모델의 강건성과 성능이 향상되는가?
• RQ3 제안된 레이블 보정 및 샘플 가중치 메커니즘이 다양한 정서 클래스 간의 성능에 어떤 영향을 미치는가?
• RQ4 학습된 샘플 가중치를 통해 '행복'과 같이 매우 모호한 클래스의 영향을 어느 정도 줄일 수 있는가?
• RQ5 제안된 메타학습 접근법이 정확도와 F1 점수 측면에서 정적 레이블 보정 또는 데이터 증강 기법보다 뛰어나게 성능을 높이는가?

주요 결과

• 제안된 모델은 IEMOCAP 데이터셋에서 가중치 평균 정확도 65.9%와 비가중치 평균 정확도 61.4%를 달성하여 BLSTM과 어텐션 기반 베이스라인 대비 각각 2.5%와 2.7%의 절대적 향상을 보였다.
• 행복, 슬픔, 중립, 분노 클래스의 F1 점수는 각각 +0.5%, +2.1%, +2.4%, +1.9% 향상되었다.
• 행복 클래스의 정밀도는 14.6% 향상되어 원래 레이블에서의 높은 모호성에도 불구하고 다른 클래스와의 분리가 향상됨을 나타냈다.
• 레이블 보정 메커니즘은 자주 '행복'을 '슬픔' 또는 '중립'으로 재레이블링했으며, 이는 이 클래스의 높은 모호성 반영이다.
• 행복 샘플에 대해 샘플 가중치 $\bm{w}_n$이 크게 감소했으며, 이는 훈련 중에 낮은 신뢰도와 높은 모호성을 반영한다.
• 원래 레이블로 모델을 사전 훈련한 후 $\bm{L}$과 $\bm{w}$를 업데이트하는 방식은 성능 향상을 이끌지 못했으며, 이는 초기에 노이즈가 많은 레이블에 노출됨으로써 편향이 유입됨을 시사한다.