[논문 리뷰] RTHN: A RNN-Transformer Hierarchical Network for Emotion Cause Extraction

Rui Xia, Mengran Zhang외 1명|arXiv (Cornell University)|2019. 06. 04.

Sentiment Analysis and Opinion Mining참고 문헌 21인용 수 13

한 줄 요약

이 논문은 상호 연결된 절 간의 관계를 모델링하기 위해 상대적 위치 및 전반적 예측 인코딩을 강화한 Transformer 인코더를 활용하는 새로운 RNN-Transformer 계층적 네트워크인 RTHN을 제안한다. 서로 다른 절들을 동시에 분류하면서 절 간 상관관계와 인과관계를 포착함으로써 RTHN은 기존 최고 성능(SOTA)인 72.69%를 초월하는 새로운 최고 성능 기록인 F1 스코어 76.77%를 달성한다.

ABSTRACT

The emotion cause extraction (ECE) task aims at discovering the potential causes behind a certain emotion expression in a document. Techniques including rule-based methods, traditional machine learning methods and deep neural networks have been proposed to solve this task. However, most of the previous work considered ECE as a set of independent clause classification problems and ignored the relations between multiple clauses in a document. In this work, we propose a joint emotion cause extraction framework, named RNN-Transformer Hierarchical Network (RTHN), to encode and classify multiple clauses synchronously. RTHN is composed of a lower word-level encoder based on RNNs to encode multiple words in each clause, and an upper clause-level encoder based on Transformer to learn the correlation between multiple clauses in a document. We furthermore propose ways to encode the relative position and global predication information into Transformer that can capture the causality between clauses and make RTHN more efficient. We finally achieve the best performance among 12 compared systems and improve the F1 score of the state-of-the-art from 72.69\% to 76.77\%.

연구 동기 및 목표

• 이전 정서 원인 추출 방법들이 절을 독립적인 분류 작업으로 간주하여 절 간 상호관계를 忽시하는 한계를 해결한다.
• 문서 내 절 간 상관관계(의미적 유사성)와 인과관계(시간적 및 논리적 종속성)를 동시에 모델링하여 더 정확한 정서 원인 추론을 가능하게 한다.
• 문서 내 모든 절에 대해 동시에 정서 원인 또는 비원인으로 분류하는 공동 분류 프레임워크를 개발함으로써 일반화 및 통일성을 향상시킨다.
• Transformer 아키텍처에 상대적 위치 및 전반적 예측 정보와 같은 명시적 구조적 사전 지식을 통합하여 인과관계 모델링 능력을 향상시킨다.
• 기본 평가 데이터셋인 ECE 코퍼스에서 뛰어난 성능을 입증하며, 정서 원인 추출 분야에서 새로운 최고 성능 결과를 수립한다.

제안 방법

• 각 절 내 단어를 조밀한 절 수준 표현으로 인코딩하기 위해 하위층에 RNN 기반 인코더(Bi-LSTM)를 사용한다.
• 문서 내 다수의 절 간 장거리 의존성과 상관관계를 모델링하기 위해 절 수준에서 스택된 Transformer 인코더를 적용한다.
• 절 간 순서와 시간적 구조를 유지하기 위해 상대적 위치 인코딩(RPE)을 도입하여 인과관계 모델링을 향상시킨다.
• 모든 절에 걸친 집합적 확률 분포를 모델링하기 위해 전반적 예측 인코딩(GPE)을 통합하여 예측의 흐름과 일관성을 강화한다.
• Transformer의 자기주의 주의 메커니즘 내부에 RPE와 GPE를 통합하여 인과적으로 관련된 절에 더 높은 주의를 기울인다.
• 최종적으로 소프트맥스 레이어를 사용하여 모든 절에 대해 동시에 공동 분류를 수행한다: 정서 원인 또는 비원인으로 분류한다.

실험 결과

연구 질문

• RQ1 정서 원인 추출에서 계층적 RNN-Transformer 아키텍처가 독립적인 절 분류보다 다수의 절을 동시에 모델링함으로써 성능 향상을 이룰 수 있는가?
• RQ2 Transformer 인코더가 정서 원인 추론에서 절 간 상관관계와 인과적 종속성을 얼마나 효과적으로 포착하는가?
• RQ3 상대적 위치 인코딩과 전반적 예측 인코딩이 절 간 인과관계 추론 능력 향상에 어느 정도 기여하는가?
• RQ4 단어 수준에서 RNN과 절 수준에서 Transformer를 조합한 하이브리드 아키텍처가 순수 RNN 또는 순수 Transformer보다 더 높은 성능을 내는가?
• RQ5 명시적 구조적 사전 지식(RPE 및 GPE)이 정서 원인 추출의 최종 F1 스코어에 기여하는 정도는 어느 정도인가?

주요 결과

• RTHN은 기존 SOTA인 72.69%를 초월하여 기준 ECE 코퍼스에서 새로운 최고 성능 기록인 F1 스코어 76.77%를 달성한다.
• 제거 실험 결과, 전반적 예측 인코딩(GPE)을 제거한 RTHN-No-GPE는 F1 스코어가 3퍼센트 이상 감소하여 73.14%로 떨어지며, GPE의 핵심적 역할을 확인한다.
• 상대적 위치 인코딩(RPE)을 제거한 RTHN-No-RPE는 F1 스코어가 41.45%로 급격히 하락하여 인과적 순서 모델링에 있어 RPE의 중요성을 입증한다.
• 절대적 위치 임베딩을 상대적 위치 인코딩 대신 사용한 RTHN-APE는 F1 스코어가 오직 56.94%에 머물러, 상대적 위치 정보가 성능 향상에 필수적임을 시사한다.
• RNN-Transformer 하이브리드 아키텍처(RTHN)는 순수 RNN(RRHN, F1=75.34%) 및 순수 Transformer(TTHN, F1=69.52%)보다 뛰어난 성능을 보이며, 아키텍처 설계의 타당성을 입증한다.
• 주의 가중치 분석 결과, 모델이 진짜 정서 원인 절에 가장 높은 주의 가중치를 할당하며, 특히 정확한 원인 절에서 가장 집중된 분포를 보였다(예시: β₃,₄ = 0.66).