[論文レビュー] Deep Learning Paradigm with Transformed Monolingual Word Embeddings for Multilingual Sentiment Analysis

Yujie Lu, Tatsunori Mori|arXiv (Cornell University)|Oct 9, 2017

Sentiment Analysis and Opinion Mining参考文献 14被引用数 6

ひとこと要約

本論文は、異なる言語の単語埋め込みを統一して共有の埋め込み空間にマップする深層学習パラダイムを提案し、多言語感情分析のためのパrameter-sharingニューラルネットワークを可能にする。CNN や LSTM に投入する前に言語固有の埋め込みを変換することで、最先端のベースラインより 2.1% の精度向上を達成し、機械翻訳に依存せずに優れた多言語間一般化性能を示している。

ABSTRACT

The surge of social media use brings huge demand of multilingual sentiment analysis (MSA) for unveiling cultural difference. So far, traditional methods resorted to machine translation---translating texts in other languages to English, and then adopt the methods once worked in English. However, this paradigm is conditioned by the quality of machine translation. In this paper, we propose a new deep learning paradigm to assimilate the differences between languages for MSA. We first pre-train monolingual word embeddings separately, then map word embeddings in different spaces into a shared embedding space, and then finally train a parameter-sharing deep neural network for MSA. The experimental results show that our paradigm is effective. Especially, our CNN model outperforms a state-of-the-art baseline by around 2.1% in terms of classification accuracy.

研究の動機と目的

• 機械翻訳に基づくアプローチの限界を解消すること。これは翻訳品質に敏感であり、言語固有のリソースを必要とする。
• 異なる言語からの異種の単語埋め込みを、より良い多言語間転送を実現するための統一された意味的空間に統合すること。
• 複数の言語を同時に処理できる、1つのパrameter-sharing深層ニューラルネットワークを構築することにより、言語固有のモデル適合の必要性を低減すること。
• 英語、日本語、中国語を含むバランスの取れた多言語ツイートコーパス（MDSU）上で、このパラダイムの有効性を評価すること。
• 単語埋め込みの空間変換が、深層学習モデルにおける生の非整合な埋め込みよりも性能を向上させるかどうかを調査すること。

提案手法

• 英語、日本語、中国語それぞれのコーパスを用いて、言語ごとに単語埋め込みを別々に事前学習する。
• 各言語の元の空間から共有された統一された埋め込み空間に単語埋め込みをマップするために、線形変換（例えば、共有された射影行列を用いて）を適用する。
• 変換された埋め込みを、パrameter-sharing深層ニューラルネットワーク（特にCNNまたはLSTM）の入力として使用し、全言語で同時に学習する。
• 全モデルをエンドツーエンドで学習し、言語間の一般化を促進するために、ネットワークの重みを全言語で共有する。
• 交差エントロピー損失と誤差逆伝播を用いて最適化し、変換行列とネットワーク重みを同時に更新する。
• MDSUデータセット上で性能を評価し、機械翻訳ベースのベースラインおよび先行の最先端手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 パrameterを共有する統一された深層学習モデルは、言語固有の適合なしに複数の言語で多言語感情分析を効果的に行えるか？
• RQ2 単語埋め込みを共有の埋め込み空間に変換することで、生の非整合な埋め込みよりも分類精度が向上するか？
• RQ3 多言語感情分析データセットにおいて、提案手法は機械翻訳ベースのアプローチと比べて精度と頑健性の点で優れているか？
• RQ4 埋め込み変換による性能向上は、異なる深層学習アーキテクチャ（例：CNN 対 LSTM）に一貫して見られるか？
• RQ5 バランスの取れた多言語コーパス（MDSU）を用いることで、多言語間感情分析モデルの信頼性のある評価がどの程度可能になるか？

主な発見

• 変換された単語埋め込みを用いた提案された深層学習パラダイムは、機械翻訳ベースのベースラインより分類精度で 4.3 パcentage points の向上を達成した。
• 変換済み埋め込みを用いたパrameter-sharing CNN モデルは、最先端のベースラインより 2.1% の精度向上を示し、優れた多言語間一般化性能を示している。
• CNN モデルは埋め込み空間変換により著しく利益を受けており、変換後には 1.4% の精度向上が見られた。一方、LSTM モデルはわずか 0.6% の低下を示し、アーキテクチャ依存の有効性が示された。
• 深層学習パラダイムの性能は、従来のMTベース手法を上回っており、埋め込み変換が機械翻訳によって生じるノイズを軽減している可能性を示唆している。
• 各言語を別々に学習すると、共同学習よりもわずかに高い精度（58.1% 対 57.3%）が得られ、埋め込みの非均質性が適切に整列されていないと依然として課題であることを示している。
• 本手法は単語埋め込みと言語固有のトークナイザーのみを必要とし、低リソース言語への適用も軽量かつスケーラブルである。