[論文レビュー] On the Effect of Word Order on Cross-lingual Sentiment Analysis

Àlex R. Atrio, Toni Badía+1 more|arXiv (Cornell University)|Jun 13, 2019

Topic Modeling参考文献 31被引用数 5

ひとこと要約

この論文は、二言語埋め込みを用いた多言語間センチメント分析における語順の影響を調査する。対象言語のテスト文を元言語の語順に事前に再順序付けすることで、特に文法構造が異なる言語において顕著な分類精度の向上が得られることを示している。これは、単言語モデルにおける語順への感受性が多言語間設定にも継続的に影響することを示している。

ABSTRACT

Current state-of-the-art models for sentiment analysis make use of word order either explicitly by pre-training on a language modeling objective or implicitly by using recurrent neural networks (RNNs) or convolutional networks (CNNs). This is a problem for cross-lingual models that use bilingual embeddings as features, as the difference in word order between source and target languages is not resolved. In this work, we explore reordering as a pre-processing step for sentence-level cross-lingual sentiment classification with two language combinations (English-Spanish, English-Catalan). We find that while reordering helps both models, CNNS are more sensitive to local reorderings, while global reordering benefits RNNs.

研究の動機と目的

• 二言語埋め込みを用いた際の語順が多言語間センチメント分類に与える影響を調査すること。
• 語順に感受性を示す単言語モデルが、文の再順序付けによって多言語設定で改善可能かどうかを特定すること。
• 対象言語のテストデータを元言語の文法構造に合わせて事前に再順序付けする有効性を評価すること。
• 語順の異なる文法的パターンを示す低リソース言語において、再順序付けが性能向上に寄与するかどうかを評価すること。
• 無教師学習で得られる二言語埋め込みを用いても、語順が多言語間転送において重要な要因であるという実証的証拠を提供すること。

提案手法

• 単言語データから学習された二言語単語埋め込みを用い、言語間で共通のベクトル空間を構築する。
• 対象言語のテスト文に5つの再順序付け戦略を適用：ルールベース（名詞＋形容詞、語彙のみ、語彙なし）、ランダム、および元言語の語順に合わせた再順序付け。
• 英語、スペイン語、カターラン語のデータセットを対象に、文レベルの埋め込みに対して線形分類器を適用し、センチメント分類を実施する。
• 特にセンチメントを示すフレーズに注目し、元言語の語順に由来する文法的テンプレートを用いて文を再順序付ける。
• OpeNERおよびMultiBookedコーパスから得た細分化されたセンチメントデータセット（二値および4クラス）を用いて性能を評価する。
• 元の順序、再順序付け済み、ランダム順の3つの順序で分類精度を比較し、語順の影響を明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 対象言語の文における語順は、二言語埋め込みを用いた多言語間センチメント分類器の性能にどのように影響するか？
• RQ2 対象言語の文を元言語の語順に再順序付けすることで、分類精度はどの程度向上するか？
• RQ3 カターラン語とスペイン語のように文法的構造が異なる言語間で、再順序付けの利点に差異は生じるか？
• RQ4 語順に感受性を示す単語事前学習モデルが、再順序付けを介して低リソース言語へ効果的に転送可能か？
• RQ5 二値センチメントと4クラスセンチメントの両方の粒度において、再順序付けによる改善は一貫しているか？

主な発見

• 対象言語のテスト文を元言語の語順に再順序付けすることで、多言語間センチメント分類の性能が顕著に向上する。
• カターラン語データセットでは、再順序付けによりF1スコアが最大で12.4ポイント上昇した。
• 英語で学習しスペイン語でテストしたモデルでは、テスト文を英語の語順に再順序付けすることでF1スコアが5.3%向上した。
• 再順序付けの恩恵は、低リソース環境および元言語と顕著に異なる文法的構造を持つ言語において特に顕著であった。
• 名詞＋形容詞の順序に基づく単純なルールベースの再順序付けでさえ、ランダムおよび語彙のみのベースラインを上回った。
• 結果から、語順は多言語間転送において重要な要因であり、順序的文脈依存性に依存するモデルは、元言語と対象言語の構造的不一致に感受性を示すことが示された。