[논문 리뷰] Learning a General Clause-to-Clause Relationships for Enhancing Emotion-Cause Pair Extraction

Hang Chen, Xinyu Yang외 1명|arXiv (Cornell University)|2022. 08. 29.

Advanced Text Analysis Techniques인용 수 7

한 줄 요약

이 논문은 감정-원인 쌍 추출(ECPA)을 향상시키기 위해 다중 마스크 GAT과 활성화 정렬(Activation Sort)을 사용하여 외부 문장, 상호 문장, 내부 문장 관계를 포함한 새로운 문장 간 관계를 학습하는 새로운 문장 수준 인코딩 모델인 EA-GAT을 제안한다. 다양한 베이스라인과 임베딩에서 중국어 기준으로 F1 점수를 2.1% 향상시키고 영어 기준으로 1.03% 향상시켜 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Emotion-cause pair extraction (ECPE) is an emerging task aiming to extract potential pairs of emotions and corresponding causes from documents. Previous approaches have focused on modeling the pair-to-pair relationship and achieved promising results. However, the clause-to-clause relationship, which fundamentally symbolizes the underlying structure of a document, has still been in its research infancy. In this paper, we define a novel clause-to-clause relationship. To learn it applicably, we propose a general clause-level encoding model named EA-GAT comprising E-GAT and Activation Sort. E-GAT is designed to aggregate information from different types of clauses; Activation Sort leverages the individual emotion/cause prediction and the sort-based mapping to propel the clause to a more favorable representation. Since EA-GAT is a clause-level encoding model, it can be broadly integrated with any previous approach. Experimental results show that our approach has a significant advantage over all current approaches on the Chinese and English benchmark corpus, with an average of $2.1\%$ and $1.03\%$.

연구 동기 및 목표

• 감정-원인 쌍 추출(ECPE)에서 다루지 않은 바람직하지 않은 문장 간 관계를 해결하기 위해, 문서의 기본적인 구조를 형성하는 문장 간 관계를 고려한다.
• 외부 문장, 상호 문장, 내부 문장 관계를 포함한 체계적이고 문서 수준의 문장 간 관계 분류 체계를 정의한다.
• 기존의 모든 ECPE 프레임워크에 통합될 수 있는 일반적인 목적의 문장 수준 인코딩 모델을 개발한다.
• BiLSTM나 표준 GAT에 의존하는 이전 모델의 한계를 극복하기 위해 장거리 문장 간 의존성이나 순차적 구조를 포착하지 못하는 문제를 해결한다.
• 예측 순서를 문장 표현과 일치시켜 일관성과 성능을 향상시키기 위해 예측 기반의 사전 처리 기법인 활성화 정렬(Activation Sort)을 도입한다.

제안 방법

• 외부 문장(다른 문장), 상호 문장(같은 문장 내 다른 문장), 내부 문장(같은 문장 내 자기 영향)을 포함한 새로운 문장 간 관계 분류 체계를 정의한다.
• 각 3종류의 문장 간 관계 유형에 대해 별도의 어텐션 마스크를 사용하여 각각의 어텐션을 모델링하는 다중 마스크 GAT을 활용한 향상된 GAT(E-GAT)를 제안한다.
• 예측된 감정 및 원인 점수를 기반으로 문장 표현을 재정렬하는 비미분 가능하고 정렬 기반의 매핑 기법인 활성화 정렬(Activation Sort)을 도입한다.
• 활성화 정렬의 출력을 보조 입력으로 사용하여 두 번째 E-GAT 모듈을 통해 더 풍부하고 맥락에 부합하는 문장 표현을 학습한다.
• 기존의 ECPE 파ip라인에 플러그인 방식의 문장 수준 인코더로 EA-GAT을 통합하여 이전의 BiLSTM나 GAT 기반 인코더를 대체하거나 향상시킨다.
• 감정 추출, 원인 추출, 쌍 추출을 위한 공동 손실 함수를 사용해 엔드 투 엔드로 모델을 훈련시키며, 주 네트워크의 기울기 흐름을 유지한다.

실험 결과

연구 질문

• RQ1 감정 문서의 기본적인 구조적 계층을 반영할 수 있도록 문장 간 관계를 어떻게 systematic하게 정의할 수 있는가?
• RQ2 다중 마스크 GAT 모델이 외부 문장, 상호 문장, 내부 문장 관계를 구분하여 효과적으로 표현을 학습할 수 있는가?
• RQ3 활성화 정렬 메커니즘이 예측 순서와 문장 표현을 일치시켜 표현의 일관성과 품질을 향상시키는가?
• RQ4 아키텍처 변경 없이 EA-GAT이 다양한 ECPE 모델, 단어 임베딩(BERT, word2vec 등), 언어(중국어 및 영어)에 대해 얼마나 일반화 가능한가?
• RQ5 문장 수준의 인코딩 구성 요소가 ECPE의 전체 성능에 기여하는 정도는 어떠한가? 특히 쌍 수준나 어절 수준의 모델링과 비교하여 어떤가?

주요 결과

• EA-GAT은 모든 테스트된 베이스라인에서 중국어 ECPE 벤치마크에서 평균 F1 점수를 2.1% 향상시키고, 영어 RECCON 벤치마크에서 1.03% 향상시켰다.
• BERT 사용 시 감정 추출 F1은 1.17% 향상되고, BERT 미사용 시 0.89% 향상되었으며, 원인 추출 F1은 각각 1.77%와 2.75% 향상되어 원인 추출에서 더 큰 성과를 보였다.
• 10개의 독립형 ECPE 베이스라인에 통합되었을 때, 평균 쌍 추출 F1은 2.14% 향상되어 뛰어난 일반화 능력을 입증했다.
• word2vec, BERT, RoBERTa의 3종류의 단어 임베딩 유형 모두에서 모델이 모든 베이스라인보다 뛰어난 성능을 보였으며, 평균 F1 향상률은 각각 1.89%, 2.35%, 1.03%였다.
• 제거 실험 결과, 다중 마스크 어텐션과 활성화 정렬 모두 성능 향상에 기여하며, 특히 활성화 정렬이 예측 순서와 문장 표현 간 일치를 향상시키는 데 뚜렷한 이점이 있음을 확인했다.
• 사례 연구 및 인접 행렬 분석 결과, EA-GAT은 복잡한 문장에서 다수의 문장을 포함하는 장거리 및 구조적 문장 간 의존성을 효과적으로 포착함을 확인했다.