[논문 리뷰] Weakly-supervised Multi-task Learning for Multimodal Affect Recognition

Wenliang Dai, Samuel Cahyawijaya외 2명|arXiv (Cornell University)|2021. 04. 23.

Sentiment Analysis and Opinion Mining참고 문헌 40인용 수 13

한 줄 요약

이 논문은 감정 인식, 감성 분석, 풍자 인식 등에서 약한 레이블을 가진 보조 작업(예: 감성 또는 풍자)을 활용하여 소규모 데이터셋에서 다중모odal 정서 인식 성능을 향상시키기 위해 약한 지도 학습 다중작업 학습(WS-MTL)을 제안한다. 이 방법은 정확도를 최대 2.9% 향상시키고 F1 점수를 최대 3.3% 향상시키며, 모델의 안정성을 높이며, 작업 간 상관관계가 높을 경우 약한 지도 학습이 강한 지도 학습과 동등한 성능을 낼 수 있음을 보여준다.

ABSTRACT

Multimodal affect recognition constitutes an important aspect for enhancing interpersonal relationships in human-computer interaction. However, relevant data is hard to come by and notably costly to annotate, which poses a challenging barrier to build robust multimodal affect recognition systems. Models trained on these relatively small datasets tend to overfit and the improvement gained by using complex state-of-the-art models is marginal compared to simple baselines. Meanwhile, there are many different multimodal affect recognition datasets, though each may be small. In this paper, we propose to leverage these datasets using weakly-supervised multi-task learning to improve the generalization performance on each of them. Specifically, we explore three multimodal affect recognition tasks: 1) emotion recognition; 2) sentiment analysis; and 3) sarcasm recognition. Our experimental results show that multi-tasking can benefit all these tasks, achieving an improvement up to 2.9% accuracy and 3.3% F1-score. Furthermore, our method also helps to improve the stability of model performance. In addition, our analysis suggests that weak supervision can provide a comparable contribution to strong supervision if the tasks are highly correlated.

연구 동기 및 목표

• 소규모이며 수기로 레이블링하는 데 비용이 많이 드는 데이터셋으로 인해 발생하는 다중모달 정서 인식 성능 저하 문제를 해결하기 위해.
• 약한 지도 학습 다중작업 학습이 제한된 데이터로 다중모달 정서 인식 작업에서 모델의 일반화 능력과 안정성을 향상시킬 수 있는지 조사하기 위해.
• 감정 인식, 감성 분석, 풍자 탐지 작업에서 강한 레이블 대비 약한 레이블(예: 감성, 풍자)이 성능 향상에 얼마나 효과적인지 평가하기 위해.
• 미래 연구를 위한 강력한 베이스라인으로서 조기 융합과 후기 융합을 결합한 단순하지만 효과적인 하이브리드 융합 방법을 제안하기 위해.

제안 방법

• 저자들은 조기 융합(모odal 특징의 조기 연결)과 후기 융합(모달 전용 예측의 후기 연결)을 결합한 하이브리드 모달 융합 전략을 사용하여 최소한의 복잡성으로 뛰어난 성능을 달성한다.
• 관련 데이터셋에서 유래한 약한 레이블 데이터를 사용하여 주 작업(예: 감정 인식)과 보조 작업(예: 감성 또는 풍자)을 함께 훈련시는 방식으로 약한 지도 학습 다중작업 학습을 적용한다.
• 신뢰도 점수 또는 수동으로 조정된 가중치를 사용하여 보조 작업에 손실 가중치를 적용하여 기여도를 균형화하고 약한 레이블에서 유래하는 노이즈를 줄인다.
• 다양한 소규모 단일작업 레이블이 부여된 데이터셋을 동시에 훈련시켜 교차 데이터셋 지식 전이를 유도함으로써 추가적인 레이블링 없이도 암묵적으로 데이터 증강을 달성한다.
• 모델 성능은 IEMOCAP, CMU-MOSEI, MELD 데이터셋에서 감정 인식, 감성 분석, 풍자 인식의 세 가지 작업에 대해 가중 정확도와 F1 점수를 사용하여 평가된다.
• 보조 작업 선택의 타당성을 입증하고 작업 간 관련성을 검증하기 위해 레이블 상관관계(예: 풍자와 감성 간 피어슨 상관계수)를 분석한다.

실험 결과

연구 질문

• RQ1 약한 지도 학습 다중작업 학습이 소규모 단일레이블 데이터셋에서 다중모달 정서 인식 모델의 성능을 향상시킬 수 있는가?
• RQ2 보조 작업이 주 작업과 높은 상관관계를 가질 경우, 약한 지도 학습의 성능이 강한 지도 학습과 비교하여 어떻게 되는가?
• RQ3 다양한 보조 작업에서 유래한 여러 약한 레이블을 동시에 추가하면 성능 향상이 이루어지는가, 아니면 학습을 방해하는 노이즈를 유발하는가?
• RQ4 조기 융합과 후기 융합을 조합한 단순한 하이브리드 융합 방법이 다중모달 정서 인식에서 복잡한 최첨단 모델을 능가할 수 있는가?
• RQ5 다중작업 학습이 소규모 데이터셋 크기로 인한 성능 불안정성을 어느 정도 감소시킬 수 있는가?

주요 결과

• 약한 지도 학습 다중작업 학습은 감정 인식, 감성 분석, 풍자 인식 작업 전반에서 정확도를 최대 2.9% 향상시키고 F1 점수를 최대 3.3% 향상시킨다.
• 성능 향상은 세 가지 작업과 모든 데이터셋에서 일관되게 관찰되며, 특히 풍자 인식에서 가장 큰 성과를 보였다.
• MTL 적용으로 인해 모델 안정성이 향상되었으며, IEMOCAP 데이터셋에서 가중 정확도와 F1 점수의 표준편차가 각각 0.4%와 0.3% 감소하였다.
• 약한 레이블(예: 감성 또는 감정)이 감성 분석에서 강한 감정 레이블과 유사하거나 더 나은 성능을 보였으며, 특히 약한 레이블에 중립 클래스가 포함되어 있기 때문이다.
• 두 개의 약한 레이블을 동시에 추가해도 단일 보조 작업을 사용할 때보다 성능 향상이 이루어지지 않았으며, 이는 다수의 약한 레이블 원천에서 유래하는 노이즈가 학습을 방해하기 때문임을 시사한다.
• 조기 및 후기 융합을 조합한 하이브리드 모델은 최첨단 모델을 능가하거나 동등한 성능을 보였으며, 향후 다중모달 정서 인식 연구를 위한 단순하고 강력한 베이스라인으로서의 위치를 확립하였다.