[論文レビュー] Emotions are Universal: Learning Sentiment Based Representations of Resource-Poor Languages using Siamese Networks

Nurendra Choudhary, Rajat Singh+2 more|arXiv (Cornell University)|Apr 3, 2018

Sentiment Analysis and Opinion Mining参考文献 25被引用数 4

ひとこと要約

この論文では、リソースが乏しい言語（ヒンディー語、テルグ語）のための感情対応表現を、リソースが豊富な言語（英語、スペイン語）と共同で学習するために、共有のBi-LSTMエンコーダーと対照的損失関数を用いたシameseネットワークアーキテクチャSNASAを提案する。類似した感情を持つ文を共有の埋め込み空間内で近づけることで、SNASAは、広範な語彙や並列データに依存せずに、感情分析で最先端の性能を達成する。

ABSTRACT

Machine learning approaches in sentiment analysis principally rely on the abundance of resources. To limit this dependence, we propose a novel method called Siamese Network Architecture for Sentiment Analysis (SNASA) to learn representations of resource-poor languages by jointly training them with resource-rich languages using a siamese network. SNASA model consists of twin Bi-directional Long Short-Term Memory Recurrent Neural Networks (Bi-LSTM RNN) with shared parameters joined by a contrastive loss function, based on a similarity metric. The model learns the sentence representations of resource-poor and resource-rich language in a common sentiment space by using a similarity metric based on their individual sentiments. The model, hence, projects sentences with similar sentiment closer to each other and the sentences with different sentiment farther from each other. Experiments on large-scale datasets of resource-rich languages - English and Spanish and resource-poor languages - Hindi and Telugu reveal that SNASA outperforms the state-of-the-art sentiment analysis approaches based on distributional semantics, semantic rules, lexicon lists and deep neural network representations without sh

研究の動機と目的

• リソースが乏しい言語における感情分析のための、大規模なアノテート済みデータセットへの依存を低減すること。
• リソースが豊富な言語とリソースが乏しい言語の間で、感情表現をクロスリンガルに転送できること。
• 並列コーパスや広範な語彙リストを必要とせず、共通の感情対応文ベクトル表現を学習すること。
• 統一的で対照的学習フレームワークを用いて、リソースが乏しい言語における感情分類の性能を向上させること。
• 共通の表現学習を通じて、感情表現の普遍性が言語間で反映されることを検証すること。

提案手法

• モデルは、リソースが豊富な言語とリソースが乏しい言語の両方の文を、共有パラメータを持つ二重のBi-LSTMエンコーダーで、密なベクトル表現に変換する。
• 対照的損失関数を用いてモデルを最適化し、同じ感情を持つ文ペア間の距離を最小化し、異なる感情を持つペア間の距離を最大化する。
• 類似度メトリクスは、文ベクトル間のコサイン距離に基づくもので、意味的に類似した文が共有の埋め込み空間に凝集するよう促進する。
• 訓練データは、複数の言語からなるペaired文から構成され、感情ラベルが使用されてポジティブおよびネガティブペアを定義する。
• 共有アーキテクチャにより、リソースが乏しい言語の訓練データが限られている場合でも、感情表現を言語間で一般化できる。
• 最終的な文表現は、下流の感情分類タスクに使用される。

実験結果

リサーチクエスチョン

• RQ1 共有のシアンズネットワークアーキテクチャは、リソースが豊富な言語とリソースが乏しい言語の間で、効果的に感情対応表現を学習できるか？
• RQ2 共有のBi-LSTMエンコーダーと対照的学習を組み合わせることで、ヒンディー語やテルグ語のようなリソースが乏しい言語における感情分類の正確性が向上するか？
• RQ3 並列データや大規模な語彙リストが存在しない状況でも、感情表現をどの程度言語間で転送できるか？
• RQ4 SNASAの性能は、分布的意味論、語彙リスト、深層ニューラルネットワークに基づく既存の手法と比較して、リソースが乏しい言語においてどうなるか？
• RQ5 感情の普遍性は、共通の感情対応文ベクトル表現を通じて、言語間で反映されるか？

主な発見

• SNASAは、分布的意味論、意味ルール、語彙リスト、深層ニューラルネットワークに基づく最先端の手法をすべて上回る性能を、リソースが乏しい言語の感情分析で達成する。
• SNASAは、大規模なアノテート済みデータや並列コーパスを必要とせず、ヒンディー語およびテルグ語のデータセットで優れた性能を発揮する。
• 対照的損失と共有のBi-LSTMエンコーダーを組み合わせることで、リソースが乏しい言語の訓練例が限られている状況でも、効果的なクロスリンガル感情表現学習が可能になる。
• 学習された表現は、類似した感情を持つ文を埋め込み空間内で近づけるため、モデルが言語間で感情の意味を的確に捉えられることを確認する。
• 感情は、共通のアーキテクチャを用いることで、多様な言語で一貫して表現可能であるという点で、普遍的であることが示された。
• この手法は、大規模な英語およびスペイン語データセットでも強力な結果を達成しており、言語ファミリーを越えて一般化可能であることを裏付けている。