[論文レビュー] Unsupervised Sentiment Analysis for Code-mixed Data

Siddharth Yadav, Tanmoy Chakraborty|arXiv (Cornell University)|Jan 20, 2020

Natural Language Processing Techniques参考文献 23被引用数 9

ひとこと要約

本稿では、並列コーパスや言語識別を必要とせず、単語混在テキストにおける教師なし感情分析を、多言語およびクロスリンガル埋め込みを用いて提案する。ゼロショット転送が可能であり、英語-スペイン語のコードミックス感情分析において、先行する最先端手法を3.11%上回る0.58 F1スコア（教師なし）および0.62 F1スコア（並列データを用いる場合）を達成する。

ABSTRACT

Code-mixing is the practice of alternating between two or more languages. Mostly observed in multilingual societies, its occurrence is increasing and therefore its importance. A major part of sentiment analysis research has been monolingual, and most of them perform poorly on code-mixed text. In this work, we introduce methods that use different kinds of multilingual and cross-lingual embeddings to efficiently transfer knowledge from monolingual text to code-mixed text for sentiment analysis of code-mixed text. Our methods can handle code-mixed text through a zero-shot learning. Our methods beat state-of-the-art on English-Spanish code-mixed sentiment analysis by absolute 3\% F1-score. We are able to achieve 0.58 F1-score (without parallel corpus) and 0.62 F1-score (with parallel corpus) on the same benchmark in a zero-shot way as compared to 0.68 F1-score in supervised settings. Our code is publicly available.

研究の動機と目的

• 言語の混合や未学習の構文構造による単語混在テキストにおける単語混在テキストにおける単言語感情分析モデルの性能低下という課題に対処する。
• ラベル付きコードミックスデータや並列コーパスを必要とせず、単言語データからコードミックステキストへ知識を転送するゼロショット手法を開発する。
• コードミックス言語に固有の意味的・構文的特徴を捉えるために、さまざまな多言語およびクロスリンガル埋め込みの有効性を評価する。
• ラベル付きコードミックス例を明示的に学習せずとも、単言語データで微調整した後、コードミックスデータへ転移することで性能が向上することを示す。
• 最初に単言語データで学習し、その後コードミックスデータで学習するという訓練カリキュラムを確立し、知識転送の効率を高める。

提案手法

• 単語混在コーパスで学習された多言語およびクロスリンガル埋め込み（MUSE, LASER, FastText, MultiBPEmb）を活用し、言語間で共有されるベクトル空間を実現する。
• 言語タグを必要とせず、語彙・サブワードレベルの埋め込みを適用することで、言語に依存しない表現学習を可能にする。
• 埋め込みの上に、50ユニットの1層の双方向LSTMとドロップアウト（0.3）を適用し、その後にソフトマックス出力層を設ける単純な分類器を訓練する。
• 2段階の訓練カリキュラムを実装する：まず英語およびスペイン語の単言語データを統合して事前学習し、その後、教師信号が利用可能な場合にコードミックスデータで微調整する。
• 固定学習率0.001でADAM最適化手法を用い、過学習を防ぐために10エポックの早期停止を実装する。
• ベンチマーク用の英語-スペイン語コードミックスデータセット（3ラベル：ポジティブ、ネガティブ、ニュートラル）を用いてF1スコアで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 多言語およびクロスリンガル埋め込みは、ラベル付きコードミックスデータが一切ない状況でも、コードミックステキストにおける効果的なゼロショット感情分析を可能にするか？
• RQ2 オフザシェル埋め込みに基づく教師なしモデルの性能は、コードミックス感情分析において、教師あり最先端手法と比較してどうなるか？
• RQ3 コードミックスデータへの転移前に単言語データで微調整することで、単語混在データと単言語データをランダムに混合した場合と比較して、下流の性能が向上するか？
• RQ4 FastText, MUSE, LASER, MultiBPEmb のうち、どの埋め込みタイプが、コードミックス感情分析の教師なしおよび教師あり設定で最高の性能を示すか？
• RQ5 並列単語混在コーパスを用いることで、コードミックス感情分析におけるゼロショット性能はどの程度向上するか？

主な発見

• 提案手法は、英語-スペイン語のコードミックス感情分析において、完全に教師なしの設定で0.58 F1スコアを達成し、先行する教師なし手法を上回る。
• 並列単語混在コーパスへのアクセスがある場合、0.62 F1スコアに到達し、強力なゼロショット一般化能力を示す。
• コードミックスデータで学習したカスタムFastText埋め込みは、教師なし設定で最高の性能（0.58 F1）を示し、単語混在言語のパターンをサブワードレベルの学習が、単語混在コーパスの連結よりも効果的に捉えられることを示している。
• LASERはゼロショットモードで驚異的な0.62 F1スコアを記録し、従来の最先端手法と同等の性能を示し、共通エンコーダーを用いた翻訳タスクで学習することで恩恵を受けることが明らかになった。
• FastText埋め込みを用いたモデルは、教師なし設定で0.584 F1スコアを達成し、従来のSOTAを3.11ポイント上回った。
• 2段階の訓練カリキュラム（まず単語混在、次にコードミックス）は、ランダムな混合よりも効果的であり、構造的な知識転送の重要性を確認した。