[논문 리뷰] Supervised Adversarial Contrastive Learning for Emotion Recognition in Conversations

Dou Hu, Yinan Bao외 3명|arXiv (Cornell University)|2023. 06. 02.

Emotion and Mood Recognition인용 수 4

한 줄 요약

이 논문은 대화에서 정서 인식을 향상시키기 위해 클래스 분산 구조화된 표현을 대비 인식 기반의 적대적 훈련과 원본 및 적대적 샘플에 대한 동시 대비 학습을 통해 학습하는 새로운 프레임워크인 감독적 적대적 대비 학습(SACL)을 제안한다. 또한 맥락에 민감한 적대적 훈련(CAT) 전략을 도입하여 맥락의 강건성을 향상시켜, 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며 일반화 능력과 세분화된 정서 분류에서 뚜렷한 향상을 이룬다.

ABSTRACT

Extracting generalized and robust representations is a major challenge in emotion recognition in conversations (ERC). To address this, we propose a supervised adversarial contrastive learning (SACL) framework for learning class-spread structured representations in a supervised manner. SACL applies contrast-aware adversarial training to generate worst-case samples and uses joint class-spread contrastive learning to extract structured representations. It can effectively utilize label-level feature consistency and retain fine-grained intra-class features. To avoid the negative impact of adversarial perturbations on context-dependent data, we design a contextual adversarial training (CAT) strategy to learn more diverse features from context and enhance the model's context robustness. Under the framework with CAT, we develop a sequence-based SACL-LSTM to learn label-consistent and context-robust features for ERC. Experiments on three datasets show that SACL-LSTM achieves state-of-the-art performance on ERC. Extended experiments prove the effectiveness of SACL and CAT.

연구 동기 및 목표

• 기존 방법이 내재된 데이터 구조와 내부 클래스 세분화 특징을 포착하지 못하는 대화 정서 인식(ERC)에서 일반화되고 강건한 표현을 학습하는 데 도전하는 것.
• 내부 클래스 특징 공간을 압축하여 분류 능력을 해칠 수 있는 표준 대비 학습의 한계를 극복하는 것.
• 대화 의존적 입력에서의 적대적 흐름이 발화 수준 상관관계를 방해할 수 있는 상황에서 모델의 강건성을 향상시키는 것.
• 라벨 일관성과 맥락 강건성을 동시에 향상시켜 ERC 성능을 향상시키는 통합 프레임워크를 개발하는 것.
• 다양한 벤치마크 데이터셋에서 추론 및 시각화 연구를 통해 제안된 SACL 및 CAT 전략의 유효성을 입증하는 것.

제안 방법

• 최악의 경우의 변형을 히든 레이어에서 min-max 최적화 레시피를 사용해 생성함으로써 대비 인식 기반의 적대적 훈련을 적용하여 어려운 양성 예제를 생성한다.
• 원본 및 적대적 샘플에 대해 소프트 감독 대비 학습(SCL)을 사용하여 레이블 수준의 특징 일관성을 강제하면서도 내부 클래스의 세분화된 변동성을 유지한다.
• 다중 채널 및 맥락 인식 방식으로 적대적 변형을 적용하여 상호 발화 간 의존성을 방해하지 않는 맥락 기반 적대적 훈련(CAT) 전략을 설계한다.
• CAT을 SACL 프레임워크에 통합하여 맥락 의존적 대화 입력으로부터 더 다양한 강건한 표현을 학습한다.
• 시퀀스 기반 모델인 SACL-LSTM을 개발하여 이중 LSTM 모듈을 활용해 맥락 특징을 추출하고, SACL 목적함수에 따라 감정 분류기를 안내한다.
• 청결한 샘플과 적대적 샘플에 대해 교차 엔트로피와 소프트 SCL의 조합 목적함수를 최적화하여 일반화 능력과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 적대적 훈련을 대비 학습과 효과적으로 융합하여 내부 클래스 다양성을 유지하는 클래스 분산 구조화된 표현을 ERC에서 학습할 수 있는가?
• RQ2 제안된 SACL 프레임워크는 표준 대비 학습 및 감독 기반 베이스라인 대비 일반화 능력과 강건성을 어떻게 향상시키는가?
• RQ3 맥락 기반 적대적 훈련(CAT) 전략이 맥락 의존적 대화 시나리오에서 모델의 강건성을 어느 정도 향상시키는가?
• RQ4 SACL-LSTM은 다수의 벤치마크 데이터셋에서 대화 정서 인식에서 최신 기술 수준(SOTA) 성능을 달성하는가?
• RQ5 이 프레임워크는 클래스 불균형과 유사 감정 카테고리의 오분류 문제에 얼마나 잘 대응하는가?

주요 결과

• SACL-LSTM은 IEMOCAP, MELD, DailyDialog를 포함한 세 가지 공개 ERC 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며 기존 SOTA 방법을 능가한다.
• MELD에서 SACL-LSTM은 낮은 맥락 상황에서도 뚜렷한 성능 향상을 보이며, CAT 덕분에 향상된 맥락 강건성을 입증한다.
• t-SNE 시각화 결과 SACL은 복잡한 감정(예: 놀람)에 대해 더 단단하고 통합된 클래스 클러스터를 학습함을 확인했으며, 클래스 간 분리도 향상되었다.
• 모델는 비슷한 감정 카테고리(예: 흥분/행복, 분노/좌절)의 오분류가 감소함을 보이며 더 나은 세분화된 특징 학습 능력을 나타낸다.
• 오류 분석 결과 SACL-LSTM은 아웃라이어 버전 대비 저도달된 클래스에서 더 나은 성능을 보이며, 향상된 공정성과 강건성을 시사한다.
• 확장 실험을 통해 SACL은 표현 품질을 향상시키며, CAT는 맥락 인식 특징의 다양성과 강건성을 효과적으로 향상시킴을 검증했다.