[논문 리뷰] Deep Learning Paradigm with Transformed Monolingual Word Embeddings for Multilingual Sentiment Analysis

Yujie Lu, Tatsunori Mori|arXiv (Cornell University)|2017. 10. 09.

Sentiment Analysis and Opinion Mining참고 문헌 14인용 수 6

한 줄 요약

이 논문은 서로 다른 언어의 단일 언어 단어 임베딩을 공통의 임베딩 공간으로 통합하는 딥러닝 패러다임을 제안한다. 이를 통해 다국어 감성 분석을 위한 단일 파rameter 공유 신경망을 구현할 수 있다. CNN 또는 LSTM에 입력하기 전에 언어별로 특화된 임베딩을 변환함으로써, 최신 기준 성능보다 2.1% 높은 정확도를 달성하며, 기계 번역에 의존하지 않고도 뛰어난 다국어 일반화 성능을 입증한다.

ABSTRACT

The surge of social media use brings huge demand of multilingual sentiment analysis (MSA) for unveiling cultural difference. So far, traditional methods resorted to machine translation---translating texts in other languages to English, and then adopt the methods once worked in English. However, this paradigm is conditioned by the quality of machine translation. In this paper, we propose a new deep learning paradigm to assimilate the differences between languages for MSA. We first pre-train monolingual word embeddings separately, then map word embeddings in different spaces into a shared embedding space, and then finally train a parameter-sharing deep neural network for MSA. The experimental results show that our paradigm is effective. Especially, our CNN model outperforms a state-of-the-art baseline by around 2.1% in terms of classification accuracy.

연구 동기 및 목표

• 기계 번역 기반 접근법의 한계를 해결하기 위해, 번역 품질에 민감하고 언어별 자원이 필요로 하는 문제를 해결하고자 한다.
• 다양한 언어에서 유래한 이질적인 단일 언어 단어 임베딩을 공통의 의미 공간으로 통합하여 다국어 간 전이 성능을 향상시키고자 한다.
• 다양한 언어를 동시에 처리할 수 있는 단일 파rameter 공유 딥 네트워크를 개발하여 언어별 모델 적응의 필요성을 줄이고자 한다.
• 영어, 일본어, 중국어를 포함한 균형 잡힌 다국어 트윗 코퍼스(MDSU)에서 이 패러다임의 효과성을 평가하고자 한다.
• 단어 임베딩의 공간 변환이 딥러닝 모델에서 원본의 정렬되지 않은 임베딩보다 성능 향상에 기여하는지 조사하고자 한다.

제안 방법

• 영어, 일본어, 중국어 각 언어의 고유 코퍼스를 사용하여 별도로 단일 언어 단어 임베딩을 사전 학습한다.
• 공통의 투영 행렬을 사용하는 등 선형 변환을 적용하여 각 언어의 원래 임베딩 공간에서 공통의 통합 임베딩 공간으로 단어 임베딩를 매핑한다.
• 변환된 임베딩을 파rameter 공유 딥 네트워크(CNN 또는 LSTM)의 입력으로 사용하며, 모든 언어를 종합적으로 훈련한다.
• 모든 네트워크 가중치를 언어 간에 공유하여 다국어 일반화를 강제로 구현하고, 전체 모델을 엔드 투 엔드로 훈련한다.
• 교차 엔트로피 손실과 역전파를 사용하여 최적화하며, 변환 행렬과 네트워크 가중치를 함께 업데이트한다.
• MDSU 데이터셋에서 성능을 평가하며, 기계 번역 기반 기준 성능 및 이전 최신 기준 방법과 비교한다.

실험 결과

연구 질문

• RQ1 언어별 적응 없이도 파rameter 공유 모델이 다국어 감성 분석을 효과적으로 수행할 수 있는가?
• RQ2 원본의 정렬되지 않은 임베딩을 사용하는 것보다, 단일 언어 임베딩을 공통 임베딩 공간으로 변환하는 것이 분류 성능 향상에 기여하는가?
• RQ3 기계 번역 기반 접근법과 비교했을 때, 제안된 패러다임은 다국어 감성 데이터셋에서 정확도와 내성성 측면에서 어떻게 성능을 내는가?
• RQ4 임베딩 공간 변환이 다양한 딥러닝 아키텍처(CNN 대비 LSTM)에 따라 성능 향상에 미치는 영향은 어떻게 다른가?
• RQ5 균형 잡힌 다국어 데이터셋(MDSU)을 사용할 경우, 다국어 감성 분석 모델의 신뢰성 있는 평가가 어느 정도 가능해지는가?

주요 결과

• 변환된 단일 언어 단어 임베딩을 사용하는 제안된 딥러닝 패러다임은 기계 번역 기반 기준 성능보다 분류 정확도에서 4.3% 포인트 높은 성능을 보였다.
• 변환된 임베딩를 사용하는 파rameter 공유 CNN 모델은 최신 기준 성능보다 2.1% 높은 정확도를 달성하여 강력한 다국어 일반화 성능을 입증했다.
• CNN 모델은 임베딩 공간 변환으로 인해 정확도가 1.4% 향상되었고, 반면 LSTM 모델은 약 0.6%의 경미한 하락을 보였으며, 이는 아키텍처에 따라 효과가 다름을 시사한다.
• 딥러닝 패러다임의 성능은 전통적인 기계 번역 기반 방법보다 뛰어나며, 이는 임베딩 변환이 기계 번역으로 인한 노이즈를 완화시킨다는 것을 시사한다.
• 각 언어별로 별도로 훈련한 결과는 공동 훈련보다 약간 높은 정확도(58.1% 대 57.3%)를 기록했으며, 이는 정렬되지 않은 임베딩 간의 이질성이 적절히 보정되지 않은 상태에서는 여전히 도전 과제가 된다는 것을 시사한다.
• 이 방법은 단일 언어 임베딩과 언어별 토크나이저만 필요로 하여 저자원 언어로의 확장이 쉽고 가볍게 적용 가능하다.