[논문 리뷰] From Independent Prediction to Re-ordered Prediction: Integrating Relative Position and Global Label Information to Emotion Cause Identification

Zixiang Ding, Huihui He외 2명|arXiv (Cornell University)|2019. 06. 04.

Sentiment Analysis and Opinion Mining참고 문헌 18인용 수 14

한 줄 요약

이 논문은 순서를 재정렬하는 예측 프레임워크를 통해 텍스트 내용, 정서 문장에 대한 상대적 거리, 동적 글로벌 레이블 정보를 통합함으로써 정서 원인 식별 성능을 향상시키는 새로운 신경망 모델을 제안한다. 상대적 거리 보강 임베딩(PAE)을 도입하고 정서 문장에 가까운 문장부터 순서를 재정렬함으로써, 기준 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 독립 예측 방식 대비 F1 점수를 4.78% 향상시키고 상한 기준선 대비 5.04% 향상시켰다.

ABSTRACT

Emotion cause identification aims at identifying the potential causes that lead to a certain emotion expression in text. Several techniques including rule based methods and traditional machine learning methods have been proposed to address this problem based on manually designed rules and features. More recently, some deep learning methods have also been applied to this task, with the attempt to automatically capture the causal relationship of emotion and its causes embodied in the text. In this work, we find that in addition to the content of the text, there are another two kinds of information, namely relative position and global labels, that are also very important for emotion cause identification. To integrate such information, we propose a model based on the neural network architecture to encode the three elements ($i.e.$, text content, relative position and global label), in an unified and end-to-end fashion. We introduce a relative position augmented embedding learning algorithm, and transform the task from an independent prediction problem to a reordered prediction problem, where the dynamic global label information is incorporated. Experimental results on a benchmark emotion cause dataset show that our model achieves new state-of-the-art performance and performs significantly better than a number of competitive baselines. Further analysis shows the effectiveness of the relative position augmented embedding learning algorithm and the reordered prediction mechanism with dynamic global labels.

연구 동기 및 목표

• 정서 원인 식별에서 독립 예측 방식의 한계를 해결하기 위해, 글로벌 레이블과 상대적 거리 정보가 효율적으로 활용되지 않는 문제를 해결한다.
• 간단한 위치 인코딩이 아닌, 학습된 임베딩으로서의 상대적 거리 정보를 통합하여 모델 성능을 향상시킨다.
• 동적 글로벌 레이블 특징을 활용한 순서 재정렬 예측 문제로 변환함으로써 문장 간 의존성을 모델링한다.
• 상대적 거리 정보와 글로벌 레이블 정보를 동시에 통합할 경우 정서 원인 식별 성능 향상이 뚜렷하게 이루어지는지 확인한다.
• 콘텐츠, 상대적 거리, 글로벌 레이블 정보를 동시에 인코딩하는 통합형 엔드 투 엔드 신경망 아키텍처를 제공한다.

제안 방법

• 특징 차원을 늘리지 않으면서도 위치 인식 표현을 학습할 수 있도록 인코더-디코더 아키텍처를 사용하는 상대적 거리 보강 임베딩(PAE) 모듈을 도입한다.
• 정서 문장으로부터의 절대적 거리에 따라 문서 내 문장을 재정렬하여, 정서 문장에 가까운 문장을 우선 예측 대상으로 배치한다.
• 독립 예측 작업을 순차적이고 재정렬된 예측 문제로 변환하여, 이전 예측 결과가 후속 예측에 동적 글로벌 레이블(DGL) 특징을 통해 영향을 주도록 한다.
• 이전 문장의 예측 레이블을 후속 예측의 문맥적 특징으로 활용함으로써 문서 수준의 일관성을 강제한다.
• Bi-LSTM을 사용해 문장을 인코딩하고, PAE 및 DGL 특징을 엔드 투 엔드로 학습 가능한 방식으로 통합한다.
• 학습 시에는 진짜 레이블을, 추론 시에는 예측 레이블을 DGL 특징에 사용하여 실제 운영 환경을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 간단한 위치 인코딩을 초월하여 상대적 거리 정보를 단어 임베딩에 효과적으로 통합할 수 있는가?
• RQ2 정서 문장에 가까운 순서로 문장을 재정렬하면 독립 예측 방식보다 성능 향상이 이루어지는가?
• RQ3 이전에 예측한 문장의 동적 글로벌 레이블 정보를 통합할 경우 정확도 향상 정도는 어느 정도인가?
• RQ4 기존의 위치 임베딩과 문장 수준의 위치 인코딩 대비 제안된 PAE 방법은 성능 및 일반화 능력 측면에서 어떻게 비교되는가?
• RQ5 DGL 메커니즘에서 예측 레이블 대신 진짜 글로벌 레이블을 사용할 경우 성능 향상의 상한선은 어느 정도인가?

주요 결과

• 제안된 PAE 방법은 위치 임베딩과 문장 수준의 위치 인코딩을 모두 능가하여 상대적 거리 정보의 효과적인 통합을 입증한다.
• 정서 문장에 가까운 순서로 문장을 재정렬함으로써 독립 예측 대비 F1 점수를 4.78% 향상시켰다 (독립 예측: F1 0.7242 vs. 재정렬: F1 0.6764), 이는 예측 순서의 중요성을 입증한다.
• 추론 시 DGL 특징에 진짜 글로벌 레이블을 사용할 경우 F1 점수는 0.7633을 기록하였으며, 예측 레이블을 사용한 모델 대비 5.04% 높은 성능(예측 레이블 사용: F1 0.7129)을 보여, 글로벌 레이블 통합의 잠재력을 입증한다.
• 기준 정서 원인 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 여러 경쟁 모델들을 뚜렷이 앞서 간다.
• 제거 실험 결과, PAE 모듈과 동적 글로벌 레이블을 포함한 순서 재정렬 예측 기법이 성능 향상에 필수적임을 확인하였다.
• 결과는 정서 원인 식별에서 문장 간 의존성이 강하며, 재정렬된 순서에서 동적 레이블 전파를 통해 효과적으로 모델링할 수 있음을 시사한다.