[논문 리뷰] On the Effect of Word Order on Cross-lingual Sentiment Analysis

Àlex R. Atrio, Toni Badía외 1명|arXiv (Cornell University)|2019. 06. 13.

Topic Modeling참고 문헌 31인용 수 5

한 줄 요약

이 논문은 双語埋め込み를 사용하여 語順의 영향을 교차언어적 감성 분석에 대해 조사한다. 목적어 언어의 테스트 문장을 원천 언어의 어순에 맞게 사전에 재정렬하는 방법을 제안하며, 이는 특히 문법적 어순이 다름이 큰 언어들에서 분류 정확도를 크게 향상시킨다. 이는 단일언어 모델에서 어순 민감성이 교차언어적 환경으로까지 이어진다는 것을 보여준다.

ABSTRACT

Current state-of-the-art models for sentiment analysis make use of word order either explicitly by pre-training on a language modeling objective or implicitly by using recurrent neural networks (RNNs) or convolutional networks (CNNs). This is a problem for cross-lingual models that use bilingual embeddings as features, as the difference in word order between source and target languages is not resolved. In this work, we explore reordering as a pre-processing step for sentence-level cross-lingual sentiment classification with two language combinations (English-Spanish, English-Catalan). We find that while reordering helps both models, CNNS are more sensitive to local reorderings, while global reordering benefits RNNs.

연구 동기 및 목표

• 이중어장임베딩을 사용할 때 어순이 교차언어적 감성 분류에 어떤 영향을 미치는지 조사하기 위해.
• 어순에 민감한 단일언어 모델이 문장 재정렬을 통해 교차언어 설정에서 향상될 수 있는지 판단하기 위해.
• 원천 언어의 문법적 구조와 일치하도록 목적어 언어의 테스트 데이터를 사전에 재정렬하는 것의 효과를 평가하기 위해.
• 어순 패턴이 다른 저자원 언어들 간에 재정렬이 성능 향상에 기여하는지 평가하기 위해.
• 비지도 이중어장임베딩을 사용하더라도 어순이 교차언어 전이에서 핵심 요소임을 경험적으로 입증하기 위해.

제안 방법

• 단일언어 데이터를 기반으로 훈련된 이중어장임베딩을 사용하여 언어 간에 공통된 벡터 공간을 생성한다.
• 목적어 언어의 테스트 문장에 대해 다섯 가지 재정렬 전략을 적용한다: 규칙 기반(명사-형용사, 어휘 전용, 어휘 비전용), 무작위, 원천 언어의 어순에 맞게 재정렬.
• 영어, 스페인어, 카탈로니아어 데이터셋에서 문장 수준의 임베딩을 기반으로 선형 분류기를 사용하여 감성 분류를 수행한다.
• 원천 언어의 어순에서 유도된 문법 템플릿을 사용하여 문장을 재정렬하며, 특히 감성을 담고 있는 어구에 중점을 둔다.
• OpeNER 및 MultiBooked 코퍼스에서 유래한 세분화된 감성 데이터셋(이진 및 4클래스)에서 성능을 평가한다.
• 원래 순서, 재정렬된 순서, 무작위 순서 간의 분류 정확도를 비교하여 어순의 영향을 분리한다.

실험 결과

연구 질문

• RQ1 이중어장임베딩를 사용한 교차언어적 감성 분류기에서 목적어 언어 문장의 어순은 성능에 어떤 영향을 미치는가?
• RQ2 목적어 언어 문장을 원천 언어의 어순에 맞게 재정렬함으로써 분류 정확도가 얼마나 향상되는가?
• RQ3 카탈로니아어와 스페인어처럼 다른 문법적 어순을 가진 언어들 사이에서 재정렬의 효과가 다를까?
• RQ4 어순에 민감한 단일언어 모델이 사전에 훈련된 후, 재정렬을 통해 저자원 언어로 효과적으로 전이될 수 있는가?
• RQ5 다양한 감성 세분화 수준(예: 이진 대비 4클래스 감성)에서 재정렬의 향상 효과가 일관된가?

주요 결과

• 원천 언어의 어순에 맞게 목적어 언어의 테스트 문장을 재정렬함으로써 교차언어적 감성 분류 성능이 크게 향상된다.
• 카탈로니아어 데이터셋에서 가장 높은 향상률을 기록했으며, 원래 순서 대비 F1 스코어가 최대 12.4%p 상승했다.
• 영어로 훈련하고 스페인어로 테스트한 모델에서, 테스트 문장을 영어 어순에 맞게 재정렬함으로써 F1 스코어가 5.3%p 향상되었다.
• 재정렬의 효과는 저자원 환경과 원천 언어와 문법적으로 상당히 다름이 큰 언어에서 가장 두드러졌다.
• 단순한 규칙 기반 재정렬(예: 명사-형용사 어순)도 무작위 및 어휘 전용 기반 보다 뛰어난 성능을 보였다.
• 결과는 어순이 교차언어 전이에서 핵심 요소이며, 순서적 맥락에 의존하는 모델은 원천 언어와 목적어 언어 간의 문법적 불일치에 민감하다는 것을 시사한다.