[論文レビュー] Automatic Normalization of Word Variations in Code-Mixed Social Media Text

Rajat Singh, Nurendra Choudhary+1 more|arXiv (Cornell University)|Apr 3, 2018

Natural Language Processing Techniques参考文献 20被引用数 10

ひとこと要約

この論文は、大規模でノイズの多いコーパスから得られる文脈的な単語表現を活用することで、多言語的南アジアの文脈におけるコードミックスドSNSテキストにおける語の変形を自動で正規化する非教師あり手法を提案する。分散表現によって綴りの違いや文法的変形を捉えることで、品詞タギングやセンチメント分析などの下流NLPタスクの性能が向上し、コードミックスドデータセットにおいて一貫した性能向上が示された。

ABSTRACT

Social media platforms such as Twitter and Facebook are becoming popular in multilingual societies. This trend induces portmanteau of South Asian languages with English. The blend of multiple languages as code-mixed data has recently become popular in research communities for various NLP tasks. Code-mixed data consist of anomalies such as grammatical errors and spelling variations. In this paper, we leverage the contextual property of words where the different spelling variation of words share similar context in a large noisy social media text. We capture different variations of words belonging to same context in an unsupervised manner using distributed representations of words. Our experiments reveal that preprocessing of the code-mixed dataset based on our approach improves the performance in state-of-the-art part-of-speech tagging (POS-tagging) and sentiment analysis tasks.

研究の動機と目的

• 多言語的社会で一般的なコードミックスドSNSテキストにおける綴りの違いや文法的変形の課題に対処すること。
• コードミックスドデータに対して、品詞タギングやセンチメント分析などの下流NLPタスクの性能を向上させること。
• 平行データやラベル付き正規化データを必要とせず、語の変形同士の文脈的類似性に依存する非教師あり手法を開発すること。
• 大規模でノイズの多いSNSコーパス上で学習された分散表現を用いて、コードミックスドテキストにおける語の変形をモデル化すること。
• Twitter や Facebook などのプラットフォームから得た現実世界のコードミックスドデータセットを用いて、正規化の有効性を評価すること。

提案手法

• 大規模なコードミックスドSNSテキスト上で学習された分散表現（例：ネガティブサンプリングを用いたスキップグラム）を用いて、語の変形同士の文脈的類似性を捉える。
• 同じ文脈に現れるが綴りが異なったり文法的に不規則な語の変形を、埋め込みのクラスタリングによって特定する。
• このアプローチは非教師ありであり、平行データや手動でラベル付けされた正規化ペアを一切必要としない。
• すべての語の変形形を、埋め込み空間内での類似度に基づいて標準形にマッピングすることで正規化を実現する。
• 品詞タギングやセンチメント分析などの下流NLPタスクの前処理としてこの手法を適用する。
• 南アジア言語と英語を組み合わせた多言語的SNSデータを用いてモデルを学習し、一般的なコードミックスングパターンを反映する。

実験結果

リサーチクエスチョン

• RQ1 非教師ありの分布的表現は、コードミックスドSNSテキストにおける同じ語の綴りの違いや文法的変形を効果的に同定・グループ化できるか？
• RQ2 文脈的な単語埋め込みに基づく正規化は、品詞タギングやセンチメント分析などの下流NLPタスクの性能をどのように向上させるか？
• RQ3 ラベル付きデータが存在しない状況でも、語の変形に対して一貫した標準形を信頼性を持って学習できるか？
• RQ4 この手法は、異なるコードミックスド言語ペアやSNSプラットフォームに一般化可能か？
• RQ5 正規化は、ノイズが多く現実世界の多言語テキストにおいてNLPモデルの頑健性にどのような影響を与えるか？

主な発見

• 提案された正規化手法は、コードミックスドデータセットにおける品詞タギングの性能を顕著に向上させ、F1スコアの向上が測定された。
• 正規化済みコードミックスドテキストで学習したセンチメント分析モデルは、元の未正規化入力を使ったモデルと比較して、より高い精度を示した。
• ラベル付き正規化データを一切必要としないにもかかわらず、複数の評価設定において一貫した性能向上を達成した。
• この手法は、語の変形形を文脈的類似性に基づいて、表層的・変形的変化を伴う形で一括して標準形に統合するのに効果的であった。
• 結果から、文脈的な単語表現が、ノイズが多く現実世界のSNSテキストにおける語の変形を効果的にモデル化できることを示した。
• このアプローチは、多言語SNSコンテンツに特徴的な高い言語的不整合性に対しても頑健であることが示された。