[논문 리뷰] A Multi-turn Machine Reading Comprehension Framework with Rethink Mechanism for Emotion-Cause Pair Extraction

Changzhi Zhou, Dandan Song외 2명|arXiv (Cornell University)|2022. 09. 16.

Sentiment Analysis and Opinion Mining인용 수 5

한 줄 요약

이 논문은 정서-원인 쌍 추출(ECPA)을 위한 다중 전회 기반 기계 읽기 이해 프레임워크(MM-R)를 제안한다. 이는 정서-원인 쌍의 레이블 희소성 문제를 피하기 위해 ECPE를 문서 수준의 MRC 작업으로 변환함으로써, 페어링 행렬을 생성하지 않도록 한다. 다중 전회 질의와 재고기반 메커니즘을 통해 후보 쌍을 검증함으로써, MM-R는 명시적 의미 정보를 활용하고 반복적 개선을 통해 ECPE에서 최신 기술 수준의 F1 점수 80.62%를 달성한다.

ABSTRACT

Emotion-cause pair extraction (ECPE) is an emerging task in emotion cause analysis, which extracts potential emotion-cause pairs from an emotional document. Most recent studies use end-to-end methods to tackle the ECPE task. However, these methods either suffer from a label sparsity problem or fail to model complicated relations between emotions and causes. Furthermore, they all do not consider explicit semantic information of clauses. To this end, we transform the ECPE task into a document-level machine reading comprehension (MRC) task and propose a Multi-turn MRC framework with Rethink mechanism (MM-R). Our framework can model complicated relations between emotions and causes while avoiding generating the pairing matrix (the leading cause of the label sparsity problem). Besides, the multi-turn structure can fuse explicit semantic information flow between emotions and causes. Extensive experiments on the benchmark emotion cause corpus demonstrate the effectiveness of our proposed framework, which outperforms existing state-of-the-art methods.

연구 동기 및 목표

• 정서-원인 쌍 추출(ECPE)을 위한 엔드 투 엔드 방식에서 발생하는 페어 수준의 레이블 희소성 문제를 해결한다.
• 완전한 페어링 행렬에 의존하지 않고도 정서와 원인 사이의 복잡하고 장거리에 걸친 의존 관계를 모델링한다.
• 구문에서 명시적인 의미 정보를 활용하여 추출 정확도를 향상시킨다.
• 후보 생성 이후 검증 단계로 구성된 인간 유사의 이단계 독해 과정을 통해 성능을 향상시킨다.
• ECPE와 관련된 정서 원인 추출(ECE) 작업에 적용 가능한 견고하고 확장 가능한 프레임워크를 개발한다.

제안 방법

• ECPE를 전체 페어링 행렬을 생성하지 않는 문서 수준의 기계 읽기 이해(MRC) 작업으로 변환한다.
• 다중 전회 MRC 구조를 활용: 첫 번째 전회에서 정서 구문을 추출하고, 두 번째 전회에서 정적 및 동적 질의를 사용해 각 정서에 대해 원인 구문을 추출한다.
• 세 번째 전회에서 재고 기반 메커니즘을 도입하여, 구문 간의 교차 어텐션을 사용해 후보 정서-원인 쌍의 타당성을 재평가함으로써 검증한다.
• 자연어, 의사, 구조화된 세 가지 유형의 질의를 사용하여 모델를 이끌며, 자연어 질의가 가장 높은 성능을 보였다.
• 문서와 질의를 인코딩하기 위해 BERT 기반 인코더를 활용하고, 관련 구문을 정렬하기 위해 교차 어텐션 메커니즘을 적용한다.
• 재고 단계에서 신뢰도 점수를 기반으로 임계값 기반 필터링 메커니즘을 적용하여 후보 쌍을 정밀하게 개선한다.

실험 결과

연구 질문

• RQ1 ECPE를 다중 전회 MRC 작업으로 변환함으로써 레이블 희소성을 줄일 수 있을까, 성능은 유지되거나 향상될까?
• RQ2 재고 기반 메커니즘이 반복적 검증을 통해 후보 정서-원인 쌍을 얼마나 효과적으로 개선하는가?
• RQ3 다양한 질의 언어 설계(자연어, 의사, 구조화됨)가 ECPE에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 구문에서 명시적인 의미 정보를 활용하면 엔드 투 엔드 페어 수준 방법에 비해 추출 정확도가 향상되는가?
• RQ5 제안된 프레임워크는 사전에 주석이 달린 정서가 있는 정서 원인 추출(ECE) 작업으로 일반화 가능한가?

주요 결과

• MM-R 프레임워크는 ECPE 벤치마크에서 F1 점수 80.62%를 기록하여 이전 최신 기술 수준의 방법들을 뛰어넘었다.
• 기본 MM 모델 대비 재고 기반 메커니즘이 ECPE 작업에서 F1 점수를 2.43% 향상시켜 예측 개선의 효과를 입증했다.
• 자연어 질의 설계가 모든 작업에서 가장 높은 성능(F1 > 79%)을 보였으며, BERT의 사전 훈련 분포와의 보다 우수한 일치로 인해 의사 및 구조화된 질의를 능가했다.
• ECE 작업에서도 F1 점수 83.48%로 최신 기술 수준의 성능을 달성하여 RTHN, RHNN, KAG, 2-step RANKING 등의 방법들을 초월했다.
• MM-R 모델은 잘못된 쌍을 필터링함으로써 가짜 양성(false positives)을 줄였으며, 사례 연구에서 (c3, c4) 쌍을 정확히 기각함으로써 재고 기반 메커니즘의 가치를 입증했다.
• 정서 추출은 원인 추출보다 더 신뢰도가 높으며, 이에 따라 프레임워크는 정서 우선 추출 및 이후 검증 전략을 우선시한다.