[논문 리뷰] Emotions are Universal: Learning Sentiment Based Representations of Resource-Poor Languages using Siamese Networks

Nurendra Choudhary, Rajat Singh외 2명|arXiv (Cornell University)|2018. 04. 03.

Sentiment Analysis and Opinion Mining참고 문헌 25인용 수 4

한 줄 요약

이 논문은 자원이 부족한 언어(힌두어, 텔루구어)를 위한 감성 정렬 표현을 학습하기 위해 공유 Bi-LSTM 인코더와 대비 손실을 사용하는 시아모닉 네트워크 아키텍처인 SNASA를 제안한다. 자원이 풍부한 언어(영어, 스페인어)와 함께 공동으로 훈련함으로써, 유사한 감성을 가진 문장을 공유 임베딩 공간 내에서 더 가까이 위치시키는 방식으로 SNASA는 광범위한 어휘집이나 병렬 데이터에 의존하지 않고도 감성 분석에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Machine learning approaches in sentiment analysis principally rely on the abundance of resources. To limit this dependence, we propose a novel method called Siamese Network Architecture for Sentiment Analysis (SNASA) to learn representations of resource-poor languages by jointly training them with resource-rich languages using a siamese network. SNASA model consists of twin Bi-directional Long Short-Term Memory Recurrent Neural Networks (Bi-LSTM RNN) with shared parameters joined by a contrastive loss function, based on a similarity metric. The model learns the sentence representations of resource-poor and resource-rich language in a common sentiment space by using a similarity metric based on their individual sentiments. The model, hence, projects sentences with similar sentiment closer to each other and the sentences with different sentiment farther from each other. Experiments on large-scale datasets of resource-rich languages - English and Spanish and resource-poor languages - Hindi and Telugu reveal that SNASA outperforms the state-of-the-art sentiment analysis approaches based on distributional semantics, semantic rules, lexicon lists and deep neural network representations without sh

연구 동기 및 목표

• 자원이 부족한 언어에서 감성 분석을 위한 대규모 주석 데이터셋에 대한 의존도를 줄이기 위해.
• 자원이 풍부한 언어와 자원이 부족한 언어 간에 감성 표현을 다국어로 전이할 수 있도록 하기 위해.
• 병렬 코퍼스나 광범위한 어휘집이 필요 없이 공유된, 감성에 맞춘 문장 임베딩을 학습하기 위해.
• 통합된 대비 학습 프레임워크를 사용하여 자원이 부족한 언어에서 감성 분류 성능을 향상시키기 위해.
• 공유 표현 학습을 통해 언어 간 감정 표현의 보편성을 검증하기 위해.

제안 방법

• 모델은 자원이 풍부한 언어와 자원이 부족한 언어의 문장을 조밀한 벡터 표현으로 인코딩하기 위해 공유 파rameter를 가진 쌍둥이 Bi-LSTM 인코더를 사용한다.
• 대비 손실 함수를 사용하여, 동일한 감성을 가진 문장 쌍 간의 거리를 최소화하고, 다른 감성을 가진 문장 쌍 간의 거리를 최대화함으로써 모델을 최적화한다.
• 유사도 측정 기준은 문장 임베딩 간 코사인 거리 기반으로, 의미적으로 유사한 문장들이 공유 임베딩 공간 내에서 군집하도록 유도한다.
• 훈련 데이터는 여러 언어에서 온 쌍문장으로 구성되며, 감성 레이블이 사용되어 양성 및 음성 쌍을 정의한다.
• 공유 아키텍처 덕분에, 자원이 부족한 언어의 훈련 데이터가 제한되어 있어도 감성 표현을 언어 간으로 일반화할 수 있다.
• 최종 문장 표현은 후행 감성 분류 작업에 사용된다.

실험 결과

연구 질문

• RQ1 공유 시아모닉 네트워크 아키텍처가 자원이 풍부한 언어와 자원이 부족한 언어 간에 효과적으로 감성에 맞춘 표현을 학습할 수 있는가?
• RQ2 공유 Bi-LSTM 인코더와 함께 대비 학습을 사용하면 힌두어나 텔루구어와 같은 자원이 부족한 언어에서 감성 분류 정확도가 향상되는가?
• RQ3 병렬 데이터나 대규모 어휘집 없이 감성 표현을 얼마나 효과적으로 언어 간으로 전이할 수 있는가?
• RQ4 분포적 의미론, 어휘 목록, 딥 네트워크 기반 기존 방법과 비교했을 때 SNASA의 성능은 자원이 부족한 언어에서 어떻게 되는가?
• RQ5 감정의 보편성은 공유된, 감성에 맞춘 문장 표현을 통해 반영되는가?

주요 결과

• SNASA는 분포적 의미론, 의미 규칙, 어휘 목록, 딥 네트워크 기반 기존 방법을 포함하여 자원이 부족한 언어의 감성 분석에서 최신 기술 수준의 방법을 뛰어넘는 성능을 달성한다.
• 대규모 주석 데이터나 병렬 코퍼스가 필요 없이도 힌두어와 텔루구어 데이터셋에서 뛰어난 성능을 기록한다.
• 공유 Bi-LSTM 인코더와 함께 대비 손실을 사용하면, 자원이 부족한 언어의 훈련 예제가 제한되어 있어도 효과적인 다국어 감성 표현 학습이 가능하다.
• 학습된 표현은 유사한 감성을 가진 문장을 임베딩 공간 내에서 더 가까이 위치시키며, 이는 모델이 다양한 언어 간 감성 의미를 효과적으로 포착할 수 있음을 확인한다.
• 감정은 공유 아키텍처를 사용함으로써 다양한 언어 간에 일관되게 표현될 수 있으며, 감정의 보편성이 있음을 보여준다.
• 이 방법은 대규모 영어 및 스페인어 데이터셋에서도 강력한 성능을 기록하여, 다양한 언어 계열에 걸쳐 일반화 가능성을 검증한다.