[論文レビュー] Improved Sentiment Detection via Label Transfer from Monolingual to Synthetic Code-Switched Text

Bidisha Samanta, Niloy Ganguly+1 more|arXiv (Cornell University)|Jan 1, 2019

Hate Speech and Cyberbullying Detection参考文献 37被引用数 6

ひとこと要約

本稿では、構文解析に基づくセグメント置換と翻訳アライメントを用いて、単語言語の文から翻訳された合成コードミックス文へラベルを転送することで、感情ラベル付きコードスイッチドテキストを合成する手法CSGenを提案する。この手法は、英語・ベンガル語コードスイッチドテキストにおける感情検出で最大7.20%の絶対的精度向上を達成し、合成データ拡張によるクラス不均衡の緩和により、嫌がらせ発言検出で6%のF1スコア向上を達成した。

ABSTRACT

Multilingual writers and speakers often alternate between two languages in a single discourse, a practice called "code-switching".Existing sentiment detection methods are usually trained on sentiment-labeled monolingual text.Manually labeled code-switched text, especially involving minority languages, is extremely rare.Consequently, the best monolingual methods perform relatively poorly on code-switched text.We present an effective technique for synthesizing labeled code-switched text from labeled monolingual text, which is more readily available.The idea is to replace carefully selected subtrees of constituency parses of sentences in the resource-rich language with suitable token spans selected from automatic translations to the resource-poor language.By augmenting scarce human-labeled code-switched text with plentiful synthetic code-switched text, we achieve significant improvements in sentiment labeling accuracy (1.5%, 5.11%, 7.20%) for three different language pairs (English-Hindi, English-Spanish and English-Bengali).We also get significant gains for hate speech detection: 4% improvement using only synthetic text and 6% if augmented with real text.

研究の動機と目的

• 低リソース言語ペアにおける手作業でラベル付けされたコードスイッチドテキストの不足に取り組むこと。
• 現在の単語言語モデルが苦手としている、ソーシャルメディアのコードスイッチドテキストにおける感情検出性能を向上させること。
• 高品質で感情に正確な合成コードスイッチド文を生成する、文法に依存しないデータ駆動型の手法を開発すること。
• 合成データのみ、または実データと組み合わせた場合に、限られたゴールドラベル付きコードスイッチドデータでの学習に比べて性能を上回ることを示すこと。
• 合成データを用いたラベル不均衡の緩和により、嫌がらせ発言検出の性能を向上させること。

提案手法

• CSGenは、コードスイッチングの可能性がある箇所を特定するため、単語言語の元文の構文的サブツリーを構文解析器を用いて特定する。
• 神経機械翻訳モデルを用いて、元文を対象言語に翻訳し、並列文のペアを作成する。
• 感情の顕著さと文法的境界に基づいて、置換対象のセグメントを選択し、意見を含む成分を優先する。
• 単語埋め込みの類似度とアテンションベースのアライメントを用いて、対象言語の翻訳文から最も意味的・構文的に整合性の高いセグメントを探索する。
• 選択された対象言語セグメントが、パースツリー内の元のセグメントに置き換えられ、元の感情ラベルを保持した合成コードスイッチド文が生成される。
• この手法は文法ルールやコードスイッチングのルールに依存せず、自動アライメントと類似度メトリクスに依存することで、自然さと一貫性を確保する。

実験結果

リサーチクエスチョン

• RQ1 単語言語の感情ラベル付きデータから生成された合成コードスイッチドテキストは、低リソース言語ペアにおける感情検出性能を向上させることができるか？
• RQ2 合成データのみで、限られた実際のコードスイッチドデータで学習したモデルと同等かそれ以上の性能を達成できるか、その程度はどの程度か？
• RQ3 合成データ拡張は、特にラベル不均衡が顕著な状況下での嫌がらせ発言検出にどのような影響を与えるか？
• RQ4 合成データ生成における主な失敗モードは何か。それらはモデル性能を低下させる要因となるか？
• RQ5 トレーニングデータとテストデータのドメイン不一致が、合成コードスイッチドテキストで学習したモデルの一般化性能にどのように影響するか？

主な発見

• 英語・ベンガル語コードスイッチドテキストにおいて、合成データ拡張により、実データでの学習に比べて感情検出精度が7.20%向上した。
• 英語・スペイン語の文脈では、合成データと実データを組み合わせた場合、5.11%の精度向上を達成した。
• 英語・ヒンディー語の感情検出においては、Twitterでは1.5%、Facebookでは0.97%の向上を示し、ドメイン依存性がやや顕著であった。
• 合成データのみで、EN_HIのTwitterではゴールドデータより5.04%低い精度を示したが、ラベルバランス化後に嫌がらせ発言検出でゴールドデータを4%のF1スコア向上で上回った。
• 嫌がらせ発言検出において、合成データとゴールドデータを組み合わせた場合、ゴールドデータのみで学習したモデルに比べてF1スコアが6%向上した。これは、合成データセットにおけるクラス不均衡の低減に起因する。
• 誤差解析の結果、主な失敗モードとして、混合セグメントにおける感情極性の矛盾、および複数の主体が関与する場合の感情的・曖昧な内容の弱体化が判明した。