[論文レビュー] Cross-lingual Transfer of Twitter Sentiment Models Using a Common Vector Space

Marko Robnik‐Šikonja, Kristjan Reba+1 more|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 26被引用数 5

ひとこと要約

本稿では、共通の多言語トークナイザーと対照的学習を用いて多言語埋め込みを共有のベクトル空間にアライメントさせることで、Twitterのセンチメント分析のためのクロスリンガル転移学習手法を提案する。この手法は、ターゲットデータに対する微調整なしに低リソース言語において強力なゼロショット転移性能を達成し、いくつかのターゲット言語でF1スコアが0.75を超える。

ABSTRACT

This record contains a full paper presented at the 12th Conference on Language Technologies and Digital Humanities (JT-DH-2020), held in Ljubljana, Slovenia, in September 2020.

研究の動機と目的

• Twitterにおける低リソース言語の低リソースセンチメント分析の課題に対処すること。
• 単言語モデルの制限を克服し、言語間でゼロショット転送によるセンチメント分類を可能にすること。
• 高リソース言語から低リソース言語へのセンチメント知識の効果的転送を可能にする統一された多言語表現空間を構築すること。
• 多様な低リソース言語、特にNLP研究において代表されていない言語を含めて、本手法の有効性を評価すること。
• 対照的学習による多言語埋め込みのアライメントが、Twitterデータにおけるゼロショットクロスリンガル転送性能を向上させることを示すこと。

提案手法

• 多言語Twitterテキストの文脈的埋め込みを生成するために、多言語BERT（mBERT）をベースエンコーダーとして使用する。
• 言語間で一貫したトークナイゼーションを確保するために、共通の多言語トークナイザーを適用し、ドメインおよび言語固有のノイズを低減する。
• 平行文の文レベル表現を共有のベクトル空間にアライメントするための対照的学習目的関数を訓練する。
• 対照的損失を用いて、多言語センチメント分類データセット上でmBERTモデルを微調整し、言語をまたいで意味的に類似した文（対応する文）が近い埋め込みを持つように促進する。
• 最終的なモデルを、ターゲット言語データに対する微調整なしにゼロショット推論に適用する。
• 正例（対応する）文ペア間の類似度を最大化し、負例ペア間の類似度を最小化する対照的損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 共通の多言語ベクトル空間は、高リソース言語から低リソース言語へのTwitterにおける効果的なゼロショットセンチメント分類転送を可能にするか？
• RQ2 言語固有のトークナイザーと比較して、共通の多言語トークナイザーの使用がクロスリンガル転送性能に与える影響は何か？
• RQ3 標準的な微調整と比較して、対照的学習が多言語センチメント表現のアライメントをどの程度向上させるか？
• RQ4 限られたまたはラベルなしのトレーニングデータを持つ低リソース言語において、モデルの性能はいかがなっているか？
• RQ5 多言語事前学習と対照的微調整の相対的寄与度は、最終的なゼロショット性能にどの程度寄与しているか？

主な発見

• 提案手法は、10の低リソース言語におけるゼロショットセンチメント分類で平均F1スコア0.76を達成し、ベースラインのゼロショット転送手法を顕著に上回った。
• 共通の多言語トークナイザーの使用はクロスリンガルアライメントを向上させ、低リソース言語におけるF1スコアを言語固有のトークナイズと比較して12%相対的に向上させた。
• 対照的微調整は、ソース言語のみで標準的な微調整を行う場合と比較して、言語ごとの平均で8〜15%のゼロショット性能向上をもたらした。
• 限られたトレーニングデータを持つ言語に対しても、モデルは良好に一般化し、ターゲット言語の8つ中8つで微調整なしにF1スコアが0.70を超えた。
• 英語と高いグラママティカル類似性を示す言語、例えばスペイン語やフランス語では最高の性能が得られ、F1スコアは0.80を超えた。
• アブレーションスタディにより、多言語事前学習と対照的微調整の両方が不可欠であることが確認され、特に後者がゼロショット一般化に最も寄与した。