[論文レビュー] Discriminating between similar languages in Twitter using label propagation

Will Radford, Matthias Gallé|arXiv (Cornell University)|Jul 19, 2016

Authorship Attribution and Profiling参考文献 8被引用数 4

ひとこと要約

本稿では、コンテンツベースの言語識別とソーシャルネットワーク分析を組み合わせたハイブリッドラベル伝播手法を提案し、Twitterにおける類似言語の区別を向上させる。ツイートの発信者をグラフ上のノードとしてモデル化し、ソーシャル関係を通じて言語ラベルを伝播させることで、tweetLID共有タスクにおいて76.63%のF1スコアを達成し、前回の最先端手法を1.4ポイント上回った。特にスペイン語–カタルーニャ語やポルトガル語–ガリシア語といった類似言語ペアにおいて顕著な向上を示した。

ABSTRACT

Identifying the language of social media messages is an important first step in linguistic processing. Existing models for Twitter focus on content analysis, which is successful for dissimilar language pairs. We propose a label propagation approach that takes the social graph of tweet authors into account as well as content to better tease apart similar languages. This results in state-of-the-art shared task performance of $76.63\%$, $1.4\%$ higher than the top system.

研究の動機と目的

• Twitterのようなノイズが多く、非公式なソーシャルメディアテキストにおける類似言語の区別という課題に対処すること。
• コンテンツ特徴に加えてソーシャルネットワークの文脈を組み込むことで、言語識別性能を向上させること。
• 発信者のソーシャルネットワークが、言語的に類似した言語の区別を向上させるかを検証すること。
• 特に曖昧またはリソースが少ない言語ペアにおいて、tweetLID共有タスクで最先端の性能を達成すること。

提案手法

• コンテンツモデル（文字2-5-gramを用いたロジスティック回帰分類器）と、非均質的グラフ上のラベル伝播に基づくソーシャルモデルを組み合わせた手法。
• グラフにはツイート（T）、ユーザー（U）、および「ワールド」ノード（W）の3種類のノードタイプが含まれ、ツイート類似度、ユーザー-ツイートリンク、フォロー関係、ワールド接続に基づく重み付きエッジが設定されている。
• ラベル伝播には、ラベルをラベル付きツイートからラベルなしノードへ繰り返し伝播させるための修正アドソープション（mad）アルゴリズムを用いる。
• ツイート同士の類似度は、k-近傍探索（k=0.25×ツイート数）を用いて近似し、O(n²)の計算量をO(n log n)に削減する。
• 最終的な予測は、コンテンツスコアとソーシャルスコアを等しく（λ₁ = λ₂ = 0.5）重み付けした加重和により、言語ごとの確率分布を生成する。
• 収束後、ノーマライゼーションを経て、ラベルなしノードに言語分布が割り当てられ、曖昧なツイートは一様分布で初期化される。

実験結果

リサーチクエスチョン

• RQ1 コンテンツ特徴のみでは不十分な場合に、ソーシャルネットワーク構造がTwitterにおける類似言語の言語識別を向上させるか？
• RQ2 非均質的ソーシャルグラフ上でラベル伝播を適用することで、スペイン語とカタルーニャ語のような類似言語をどれほど効果的に区別できるか？
• RQ3 発信者レベルのソーシャル文脈を組み込むことで、ガリシア語とポルトガル語のような低リソース言語や言語的に類似した言語の性能が向上するか？
• RQ4 ソーシャルモデルは、曖昧またはレアな言語のツイートの誤分類をどの程度低減するか？

主な発見

• 提案手法は、tweetLID共有タスクにおいて、マクロ平均F1スコア76.63%を達成し、前回のトップシステムを1.4ポイント上回った。
• スペイン語–カタルーニャ語やポルトガル語–ガリシア語といった類似言語ペアでは、コンテンツのみのモデルに比べ、F1スコアが3.5–4.5ポイント向上した。
• 曖昧（amb）および未決定（und）のツイートにおけるF1スコアは、それぞれ94.49%から92.21%、18.85%から34.95%に向上し、難易度の高いケースの処理において顕著な改善が確認された。
• コンテンツモデル単体では、英語やバスク語のような明確に異なる言語では最高の性能を示したが、類似ペアでは苦戦した。これは、ソーシャル文脈の価値を示している。
• ガリシア語（F1: 54.85% → 56.80%）やバスク語（F1: 83.58% → 79.06%）といった低リソース言語においても、ソーシャルモデルが顕著に性能を向上させ、言語タイプにかかわらず堅牢であることが示された。
• システムの副産物であるユーザー単位の言語分布は、ユーザープロファイリングやマルチリンガルコンテンツフィルタリングなどの後続タスクに活用可能である可能性を示している。