[논문 리뷰] Joint Alignment of Multi-Task Feature and Label Spaces for Emotion Cause Pair Extraction

Shunjie Chen, Xiaochuan Shi외 5명|arXiv (Cornell University)|2022. 09. 09.

Sentiment Analysis and Opinion Mining인용 수 15

한 줄 요약

이 논문은 감정 원인 쌍 추출(ECP)를 위한 새로운 다중 작업 학습 프레임워크인 A²Net을 제안한다. 이 프레임워크는 작업별 특징과 공유 특징을 동시에 모델링하기 위해 기능-작업 정렬(FTA)과, ECPE와 보조 작업(EE/CE) 간 레이블 예측 일관성 문제를 줄이기 위해 상호 작업 정렬(ITA)을 공동으로 수행한다. 최소한의 파라미터 오 overhead와 속도 손실 없이 기능 표현과 예측 일관성을 향상시켜 모든 ECA 하위 작업에서 최신 기준(SoTA) 성능을 달성한다.

ABSTRACT

Emotion cause pair extraction (ECPE), as one of the derived subtasks of emotion cause analysis (ECA), shares rich inter-related features with emotion extraction (EE) and cause extraction (CE). Therefore EE and CE are frequently utilized as auxiliary tasks for better feature learning, modeled via multi-task learning (MTL) framework by prior works to achieve state-of-the-art (SoTA) ECPE results. However, existing MTL-based methods either fail to simultaneously model the specific features and the interactive feature in between, or suffer from the inconsistency of label prediction. In this work, we consider addressing the above challenges for improving ECPE by performing two alignment mechanisms with a novel A^2Net model. We first propose a feature-task alignment to explicitly model the specific emotion-&cause-specific features and the shared interactive feature. Besides, an inter-task alignment is implemented, in which the label distance between the ECPE and the combinations of EE&CE are learned to be narrowed for better label consistency. Evaluations of benchmarks show that our methods outperform current best-performing systems on all ECA subtasks. Further analysis proves the importance of our proposed alignment mechanisms for the task.

연구 동기 및 목표

• 기존의 다중 작업 학습 방법이 작업별 특징과 공유 특징을 동시에 모델링하지 못하고, 레이블 예측 일관성 문제를 겪는 한계를 해결하기 위해.
• 감정 특화, 원인 특화, 상호 작용 특징을 각각 해당 작업(EE, CE, ECPE)에 명시적으로 정렬함으로써 기능 학습을 향상시키기 위해.
• ECPE, EE, CE 간 예측 일관성을 향상시키기 위해 ECPE와 EE 및 CE 예측의 조합 간 레이블 분포의 격차를 최소화하기 위해.
• 모델의 파라미터 수나 추론 비용을 증가시키지 않으면서도 높은 성능을 유지하는 경량이고 효율적인 모델을 개발하기 위해.

제안 방법

• A²Net은 문맥 기반 절단 표현을 생성하기 위해 BERT를 문서 인코더로 사용한다.
• 구분 필터 네트워크(PFN)를 도입하여 인코딩된 특징을 세 가지 구성요소로 분할한다: 감정 특화, 원인 특화, 상호 작용 특징.
• 감정 특화 및 상호 작용 특징은 감정 추출(EE)에, 원인 특화 및 상호 작용 특징은 원인 추출(CE)에, 세 가지 특징을 모두 사용하여 ECPE에 활용한다.
• 상호 작업 정렬은 ECPE의 출력 확률 분포와 EE 및 CE 예측의 곱 사이의 이중 방향 Kullback-Leibler(KL) 발산을 최소화하여 수행되며, 이는 레이블 일관성을 촉진한다.
• 모델는 EE, CE, ECPE의 분류 헤드를 포함하는 다중 작업 손실과 상호 작업 정렬을 위한 KL 기반 정규화를 결합하여 엔드 투 엔드로 훈련된다.
• 표준 ECA 벤치마크에서 프레임워크를 평가하였으며, 제거 실험을 통해 두 정렬 메커니즘의 효과성을 확인하였다.

실험 결과

연구 질문

• RQ1 공유 또는 병렬 특징 인코딩과 비교해 별도의 작업별 특징과 공유 특징을 명시적으로 모델링할 경우 ECPE 성능 향상이 이루어지는가?
• RQ2 ECPE와 보조 작업(EE/CE) 간 레이블 예측 일관성 문제를 줄이면 전체 성능 향상이 이루어지는가?
• RQ3 기능-작업 정렬과 상호 작업 정렬이 각각 모델의 강건성과 정확성에 얼마나 기여하는가?
• RQ4 제안된 정렬 메커니즘은 모델 파라미터 수나 추론 시간을 증가시키지 않으면서도 효율적으로 구현 가능한가?

주요 결과

• A²Net은 기준 데이터셋에서 감정 추출(EE), 원인 추출(CE), 감정 원인 쌍 추출(ECPE)이라는 세 하위 작업 모두에서 최신 기준 성능을 달성하였다.
• 제거 실험 결과, 기능-작업 정렬(FTA) 또는 상호 작업 정렬(ITA)을 제거할 경우 성능 저하가 심각하게 발생하였으며, 특히 CE에서 두드러져 두 구성 요소가 필수적임을 입증하였다.
• 상호 작업 정렬 메커니즘이 예측 일관성을 향상시켰다: ECPE와 EE 간 일관성 비율은 98.2%에 달했고, ECPE와 CE 간 일관성 비율은 97.8%에 달하여 기준 모델 RANKCP를 초월하였다.
• 모델는 높은 효율성을 유지하였으며, 104.97M개의 파라미터(약간 RANKCP보다 적음)와 동일한 추론 속도(195건/초)를 기록하여 정렬 메커니즘이 효율성에 악영향을 주지 않음을 입증하였다.
• 사례 연구를 통해 상호 작업 정렬 모듈이 일관성 없는 예측을 수정함을 확인하였다. 예를 들어, CE에서의 잘못된 음성 예측이나 ECPE에서의 잘못된 쌍 연결을 보정함으로써 작업 간 예측을 정규화하였다.
• 기능-작업 정렬 메커니즘은 특히 CE에서 매우 효과적이었으며, FTA를 제거할 경우 성능 저하가 극심하게 발생하여 원인 특화 표현을 학습하는 데서 중요한 역할을 함을 시사하였다.