[논문 리뷰] Cross-lingual Emotion Intensity Prediction

Irean Navas Alejo, Toni Badía외 1명|arXiv (Cornell University)|2020. 04. 08.

Sentiment Analysis and Opinion Mining참고 문헌 38인용 수 4

한 줄 요약

이 논문은 기계 번역과 다국어 임베딩을 사용하여 영어에서 스페인어와 칼라트니아어로 정서 강도 회귀를 전이함으로써 정서 강도 예측을 위한 최초의 다국어 접근법을 제시한다. 놀랍게도 비지도 학습 기계 번역이 지도 학습 번역 및 다국어 임베딩보다 뛰어나며, 주로 정서를 담은 해시태그를 더 잘 다루기 때문이다. 연구자들은 향후 연구를 위해 새로운 주석이 달린 데이터셋과 코드를 공개한다.

ABSTRACT

Emotion intensity prediction determines the degree or intensity of an emotion that the author expresses in a text, extending previous categorical approaches to emotion detection. While most previous work on this topic has concentrated on English texts, other languages would also benefit from fine-grained emotion classification, preferably without having to recreate the amount of annotated data available in English in each new language. Consequently, we explore cross-lingual transfer approaches for fine-grained emotion detection in Spanish and Catalan tweets. To this end we annotate a test set of Spanish and Catalan tweets using Best-Worst scaling. We compare six cross-lingual approaches, e.g., machine translation and cross-lingual embeddings, which have varying requirements for parallel data -- from millions of parallel sentences to completely unsupervised. The results show that on this data, methods with low parallel-data requirements perform surprisingly better than methods that use more parallel data, which we explain through an in-depth error analysis. We make the dataset and the code available at \url{https://github.com/jerbarnes/fine-grained_cross-lingual_emotion}

연구 동기 및 목표

• 스페인어와 칼라트니아어와 같은 저자원 언어에서 정교한 정서 강도 데이터셋의 부족을 해결하기 위해.
• 병렬 데이터에 의존도를 최소화하면서 정서 강도 예측을 위한 다국어 전이 방법을 평가하기 위해.
• 저자원 환경에서 비지도 또는 지도 학습 기계 번역, 또는 다국어 임베딩 중 어떤 것이 가장 우수한 성능을 보이는지 조사하기 위해.
• 향후 연구를 위해 스페인어와 칼라트니아어 트윗의 정서 강도 점수를 포함한 새로운 주석이 달린 데이터셋을 공개하기 위해.

제안 방법

• 정교한 정서 강도 점수를 확보하기 위해 최선-최악 척도를 사용하여 스페인어와 칼라트니아어 트윗의 테스트 세트를 주석 처리하였다.
• 6가지 다국어 전이 방법을 평가: 수백만 개의 병렬 문장이 포함된 지도 학습 기계 번역, 비지도 학습 기계 번역, 그리고 다양한 병렬 데이터 요구량을 가진 다국어 임베딩.
• 영어 정서 강도 데이터에서 회귀 모델을 훈련하고, 번역 또는 임베딩 정렬을 통한 다국어 전이를 적용하였다.
• 모델 성능 향상을 위해 n-그램, 문자, 이모티콘, 해시태그, 정서 사전, 감성 사전 기능을 사용하였다.
• 특성 중요도를 평가하기 위해 추론 분석을 수행하였으며, 특히 감성 및 정서 사전의 역할을 점검하였다.
• 모델 간 번역 품질과 기능 관련성의 비교를 위해 정량적 및 정성적 오류 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 저자원 언어에서 정서 강도 예측을 위한 다국어 전이 방법 중에서 지도 번역, 비지도 번역, 다국어 임베딩 중 어떤 것이 가장 우수한 성능을 보이는가?
• RQ2 병렬 데이터의 가용성이 다국어 정서 강도 예측의 모델 성능에 어떤 영향을 미치는가?
• RQ3 전체 번역 품질은 낮지만 비지도 기계 번역이 지도 번역보다 뛰어나게 되는 이유는 무엇인가?
• RQ4 해시태그가 정서 강도 예측에 얼마나 기여하는가, 그리고 다양한 번역 방법 간에서 해시태그가 얼마나 잘 유지되는가?
• RQ5 감성 및 정서 사전 기능이 다국어 정서 강도 모델링에 얼마나 핵심적인가?

주요 결과

• 비지도 기계 번역이 스페인어와 칼라트니아어 양쪽 모두에서 모든 정서 유형에서 가장 뛰어난 성능을 보였으며, 지도 번역 및 다국어 임베딩 방법을 모두 앞섰다.
• 비지도 모델의 뛰어난 성능은 주로 정서를 담은 해시태그를 잘 유지할 수 있다는 데 기인한다. 이는 소셜 미디어 텍스트에서 정서 강도에 핵심적인 역할을 한다.
• 지난 번역은 전체 번역 품질이 높지만, 해시태그를 자주 번역하지 못해 정서적 단서를 잃기 때문에 성능이 열 劣하다.
• 사전 기능—특히 NRC 감성 사전—이 가장 중요한 기능이었으며, 이들을 제거하면 다국어 모델의 성능이 우연의 수준으로 떨어졌다.
• n-그램 기능은 분노, 두려움, 기쁨에 가장 큰 영향을 미쳤지만, 슬픔에 대해서는 제거했을 때 성능이 향상되는 경우가 있어, 이 기능들이 부족하거나 노이즈를 포함하고 있음을 시사한다.
• XLM-RoBERTa 모델은 최고의 다국어 방법과 거의 유사한 성능을 보였지만, 영어 사전과의 조합이 불가능하여 이 설정에서는 활용도가 제한되었다.