[논문 리뷰] ECSP: A New Task for Emotion-Cause Span-Pair Extraction and Classification

Hongliang Bi, Pengyuan Liu|arXiv (Cornell University)|2020. 03. 07.

Sentiment Analysis and Opinion Mining참고 문헌 19인용 수 7

한 줄 요약

이 논문은 감정-원인 스파이크 쌍 추출 및 분류(이하 ECSP)라는 새로운 작업을 소개한다. 이 작업은 감정과 원인 스파이크를 문장 수준가 아니라 스파이크 수준에서 추출하고, 감정의 카테고리를 분류한다. 저자들은 BERT를 사용하여 스파이크 기반 추출-분류(ETC) 모델을 제안하여 스파이크 쌍을 동시에 추출하고 감정을 분류하는 통합적 접근을 구현하였으며, ECE 및 ECPE 벤치마크에서 최신 기술(SOTA) 성능을 달성하면서도 새로운 ECSP 작업에서도 뛰어난 성능을 보였다.

ABSTRACT

Emotion cause analysis such as emotion cause extraction (ECE) and emotion-cause pair extraction (ECPE) have gradually attracted the attention of many researchers. However, there are still two shortcomings in the existing research: 1) In most cases, emotion expression and cause are not the whole clause, but the span in the clause, so extracting the clause-pair rather than the span-pair greatly limits its applications in real-world scenarios; 2) It is not enough to extract the emotion expression clause without identifying the emotion categories, the presence of emotion clause does not necessarily convey emotional information explicitly due to different possible causes. In this paper, we propose a new task: Emotion-Cause Span-Pair extraction and classification (ECSP), which aims to extract the potential span-pair of emotion and corresponding causes in a document, and make emotion classification for each pair. In the new ECSP task, ECE and ECPE can be regarded as two special cases at the clause-level. We propose a span-based extract-then-classify (ETC) model, where emotion and cause are directly extracted and paired from the document under the supervision of target span boundaries, and corresponding categories are then classified using their pair representations and localized context. Experiments show that our proposed ETC model outperforms the SOTA model of ECE and ECPE task respectively and gets a fair-enough results on ECSP task.

연구 동기 및 목표

• 문장 수준에서의 감정-원인 추출 방식은 부분적인 스파이크를 포착하지 못하고 감정 카테고리 분류가 부족한 한계를 해결하기 위해.
• 감정-원인 스파이크 쌍 추출 및 분류(이하 ECSP)라는 새로운 작업을 제안하여 감정과 원인 스파이크를 추출하고 감정의 카테고리를 분류하기 위해.
• 지역화된 컨텍스트와 스파이크 표현을 활용하여 일반화 능력을 향상시키고 감정 일관성 문제를 방지하는 통합된 스파이크 기반 모델을 개발하기 위해.
• 기본 데이터셋에 대한 광범위한 실험을 통해 ECSP의 실현 가능성과 효율성을 입증하기 위해.

제안 방법

• 경계 감독을 통해 감정 및 원인 스파이크를 식별하고, 쌍 표현을 사용하여 감정 카테고리를 분류하는 스파이크 기반 추출-분류(ETC) 모델을 제안한다.
• 장거리 의존성과 문장 간 관계를 포착할 수 있도록 BERT를 백본으로 사용하여 문맥 표현을 인코딩한다.
• 스파이크 간 상호작용을 모델링하기 위해 어텐션 메커니즘을 활용하여, 스파이크 쌍 추출과 감정 분류를 동시에 수행하는 엔드 투 엔드 학습을 수행한다.
• 감정 및 원인 스파이크를 동시에 탐지함으로써 상호 보완적 감독을 강화하는 다중 작업 학습 설정을 적용한다.
• 각 스파이크 주변의 국소적 컨텍스트를 사용하여 표현 품질을 향상시키고 감정 분류의 모호성을 줄인다.
• 문장 수준과 스파이크 수준의 검색 체계를 모두 평가하여 ETC 모델의 강인성과 확장성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 부분적인 감정 표현이 포함된 실세계 응용에서 스파이크 수준의 감정-원인 쌍 추출이 문장 수준 추출보다 성능이 뛰어나게 되는가?
• RQ2 독립적 또는 순차적 접근과 비교해 볼 때, 스파이크 추출과 감정 분류를 동시에 수행하는 것이 성능 향상에 기여하는가?
• RQ3 통합 모델이 감정 표현 탐지와 원인 식별을 동시에 효과적으로 처리하면서도 높은 재현율과 F1 점수를 유지할 수 있는가?
• RQ4 감정-원인 데이터셋에서 흔히 발생하는 클래스 불균형 조건에서 모델의 성능은 어떻게 되는가?
• RQ5 국소화된 스파이크 표현을 사용할 경우 감정 분류 정확도는 얼마나 향상되고 감정 일관성 문제는 얼마나 감소하는가?

주요 결과

• 제안된 ETC 모델은 ECE 작업에서 F1 점수 89.57을 기록하여 최신 기술(SOTA) 모델인 CANN-E보다 뛰어나며, 감정 태그가 제거된 경우 F1 점수가 34.69로 급격히 하락하는 것을 확인했다.
• ETC 모델은 표현 문장 추출에서 11.57% 향상되었고, 원인 문장 추출에서는 24.77%, ECPE에서는 24.5% 향상되어 최고의 베이스라인보다 성능이 뛰어났다.
• ETC 모델은 ECSP 작업에서도 공정한 F1 점수를 유지하여 새로운 작업의 실현 가능성과 타당성을 입증했다.
• ETC 모델은 ECSP 작업에서 F1 점수 77.06을 기록하여 스파이크 수준과 문장 수준 추출 간의 일반화 능력을 입증했다.
• 모델의 성능은 검색 길이가 증가함에 따라 강인하게 유지되어 확장성과 향후 성능 향상 잠재력이 있음을 시사했다.
• BERT 기반 국소 컨텍스트와 스파이크 표현의 사용은 감정 일관성을 크게 감소시키고 분류 정확도를 향상시켰다.