[논문 리뷰] Supervised Prototypical Contrastive Learning for Emotion Recognition in Conversation

Xiaohui Song, Longtao Huang외 2명|arXiv (Cornell University)|2022. 10. 17.

Sentiment Analysis and Opinion Mining인용 수 5

한 줄 요약

이 논문은 대화 내 감정 인식(ERC)을 위한 새로운 손실 함수인 감독형 원형 대비 학습(Supervised Prototypical Contrastive Learning, SPCL)을 제안한다. SPCL는 클래스 불균형 문제를 해결하고 대용량 배치 크기 의존도를 줄이기 위해 원형 기반 대비 학습을 활용한다. 원형 네트워크를 감독형 대비 학습과 통합하고, 거리 기반 난이도 측정 기반의 교육 과정 학습 전략을 적용함으로써, IEMOCAP, MELD, EmoryNLP 벤치마크에서 최신 기술 수준의 성능을 달성하며, 클래스 불균형과 작은 배치 크기에 대해 뛰어난 내성성을 보여준다.

ABSTRACT

Capturing emotions within a conversation plays an essential role in modern dialogue systems. However, the weak correlation between emotions and semantics brings many challenges to emotion recognition in conversation (ERC). Even semantically similar utterances, the emotion may vary drastically depending on contexts or speakers. In this paper, we propose a Supervised Prototypical Contrastive Learning (SPCL) loss for the ERC task. Leveraging the Prototypical Network, the SPCL targets at solving the imbalanced classification problem through contrastive learning and does not require a large batch size. Meanwhile, we design a difficulty measure function based on the distance between classes and introduce curriculum learning to alleviate the impact of extreme samples. We achieve state-of-the-art results on three widely used benchmarks. Further, we conduct analytical experiments to demonstrate the effectiveness of our proposed SPCL and curriculum learning strategy. We release the code at https://github.com/caskcsg/SPCL.

연구 동기 및 목표

• 소수 클래스가 미니배치에서 충분한 양성 샘플을 확보하지 못하는 감정 인식 내 대화(ERC) 데이터셋의 클래스 불균형 문제를 해결하기 위해.
• 감독형 대비 학습에서 대용량 배치 크기를 요구하는 데 기인한 계산 비용 증가와 확장성 제약을 줄이기 위해.
• 부족한 텍스트적 단서로 인해 분류가 어려운 극단적 또는 모호한 샘플로 인한 성능 저하를 완화하기 위해.
• 학습 데이터를 쉬운 샘플에서 어려운 샘플로 순차적으로 스케줄링하는 난이도 측정 기반의 교육 과정 학습 전략을 도입함으로써 일반화 능력과 학습 안정성을 향상시키기 위해.
• 경량적이고 효율적인 학습 전략을 사용하여 표준 ERC 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• SPCL는 각 클래스가 표현 큐를 유지하고, 각 훈련 스텝에서 큐에 있는 샘플링된 표현에서 일시적인 원형 벡터를 계산하는 원형 기반 대비 학습 메커니즘을 도입한다.
• 손실 함수는 이러한 원형 벡터를 해당 클래스의 양성 샘플로 사용하고, 나머지 모든 원형 벡터를 음성 샘플로 사용하여 대비 손실을 계산함으로써, 각 샘플이 최소한 하나의 양성 샘플과 다수의 음성 샘플을 갖는다.
• 교차 클래스 및 내부 클래스 거리 기반으로 샘플을 순위 매기는 거리 기반 난이도 측정 함수를 설계하여, 결정 경계 근처에 위치한 어려운 샘플을 식별한다.
• 샘플링 기반 교육 과정 학습 전략을 구현하여, 어려운 샘플의 샘플링 확률을 에포크 수에 따라 점진적으로 증가시켜 학습 중 난이도가 부드럽게 증가하도록 한다.
• SimCSE와 같은 대비 사전학습 모델과 통합하여 강력한 문맥 표현을 활용하면서도 SPCL 및 교육 과정 학습을 통해 학습한다.
• 각 훈련 에포크에서 쉬운 샘플과 어려운 샘플의 비율을 제어하기 위해 산술 급수 기반의 동적 샘플링 스케줄을 사용한다.

실험 결과

연구 질문

• RQ1 원형 기반 대비 학습 접근법은 대용량 배치 크기를 요구하지 않고도 클래스 불균형 ERC 데이터셋에서 성능 저하를 효과적으로 완화할 수 있는가?
• RQ2 제안된 SPCL 손실은 불균형 데이터에서 정확도와 배치 크기 민감도 측면에서 기존의 감독형 대비 학습(SupCon)과 비교해 어떻게 성능을 냈는가?
• RQ3 거리 기반 난이도 측정 함수는 ERC에서 어려운 샘플을 신뢰성 있게 식별할 수 있으며, 교육 과정 학습과 결합했을 때 일반화 능력을 향상시키는가?
• RQ4 SPCL와 교육 과정 학습의 조합은 여러 표준 ERC 벤치마크에서 일관된 성능 향상을 이끌어낼 수 있는가?
• RQ5 제안된 방법은 ERC에서 대용량 배치 대비 학습과 관련된 계산 부담을 어느 정도 감소시킬 수 있는가?

주요 결과

• SPCL는 IEMOCAP(69.03% 정확도), MELD(74.12% 정확도), EmoryNLP(85.67% 정확도)의 세 가지 주요 ERC 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 방법을 능가한다.
• 불균형 IEMOCAP 데이터셋에서 SPCL는 배치 크기가 4일 때도 안정적인 성능(68.48% 정확도)을 유지하지만, SupCon는 동일 조건에서 5.63% 성능이 하락한다.
• SPCL는 배치 크기 민감도가 크게 감소하여, 배치 크기가 32에서 4로 감소할 때 정확도가 0.82% 뿐 하락하는 데 반해, SupCon는 5.63% 하락한다.
• 난이도 측정 함수에 기반한 교육 과정 학습 전략은 학습 안정성을 향상시키고 쉬운 샘플에 대한 과적합을 방지하며, 부드러운 손실 곡선과 더 나은 일반화 능력으로 이를 입증한다.
• 정성적 분석 결과 난이도 측정 함수가 샘플을 올바르게 순위 매겼으며, 가장 쉬운 20%는 클래스 중심에, 가장 어려운 20%는 교차 클래스 경계 근처에 위치한다.
• 제거 실험 결과 SPCL와 교육 과정 학습 전략이 성능 향상에 독립적이고 상호보완적으로 기여하며, 특히 긴 尾 클래스 분포를 다룰 때 SPCL가 뛰어난 효과를 보인다.