[論文レビュー] Language Detection For Short Text Messages In Social Media

Ivana Balažević, Mikio L. Braun+1 more|arXiv (Cornell University)|Aug 30, 2016

Natural Language Processing Techniques参考文献 26被引用数 7

ひとこと要約

本稿では、UI言語や歴史的言語使用など、ユーザー固有のメタデータを組み込んだ、短いソーシャルメディアテキスト向けのユーザー認識確率的言語検出モデルを提案する。この手法は、修正されたKneser-Ney n-gram言語モデルを拡張し、稀なn-gramのスムージング技術を活用することで、多言語のTwitterデータにおいて、CLD2 や langid よりも顕著に優れた性能を発揮し、最先端の精度を達成する。

ABSTRACT

With the constant growth of the World Wide Web and the number of documents in different languages accordingly, the need for reliable language detection tools has increased as well. Platforms such as Twitter with predominantly short texts are becoming important information resources, which additionally imposes the need for short texts language detection algorithms. In this paper, we show how incorporating personalized user-specific information into the language detection algorithm leads to an important improvement of detection results. To choose the best algorithm for language detection for short text messages, we investigate several machine learning approaches. These approaches include the use of the well-known classifiers such as SVM and logistic regression, a dictionary based approach, and a probabilistic model based on modified Kneser-Ney smoothing. Furthermore, the extension of the probabilistic model to include additional user-specific information such as evidence accumulation per user and user interface language is explored, with the goal of improving the classification performance. The proposed approaches are evaluated on randomly collected Twitter data containing Latin as well as non-Latin alphabet languages and the quality of the obtained results is compared, followed by the selection of the best performing algorithm. This algorithm is then evaluated against two already existing general language detection tools: Chromium Compact Language Detector 2 (CLD2) and langid, where our method significantly outperforms the results achieved by both of the mentioned methods. Additionally, a preview of benefits and possible applications of having a reliable language detection algorithm is given.

研究の動機と目的

• Twitter投稿のような短くノイズの多いソーシャルメディアテキストにおける信頼性の高い言語検出の課題に対処すること。
• UI言語や過去の言語使用など、ユーザー固有のメタデータを統合することで分類精度を向上させること。
• SVM、ロジスティック回帰、辞書ベース、確率的モデルの複数の言語検出アプローチを、短いテキストデータ上で評価・比較すること。
• CLD2 や langid といった既存のツールと比較して、提案手法の性能をベンチマーク化し、優れた性能を示すこと。
• ユーザーのメタデータが、複数のソーシャルメディアプラットフォームにおける多言語コンテンツ分析に広く応用可能であることを探る。

提案手法

• 修正されたKneser-Neyスムージングに基づく確率的言語モデルを用いてn-gramの確率を推定し、短いテキストにおけるOoV（未知語）n-gramの処理を効果的に行う。
• ユーザーインターフェース（UI）言語やユーザーが過去に使用した言語といった、ユーザー固有の特徴をモデルに統合し、予測の精度を向上させる。
• ユーザーごとの証拠蓄積を実装し、過去のツイートに基づいて言語の信頼性を動的に更新することで、長期的な精度を向上させる。
• 文字n-gram（1–4）と言語固有のスムージングを組み合わせることで、綴りの誤りや省略語に対する耐性を高める。
• SVMおよびロジスティック回帰分類器を同じTwitterデータセット上で学習させ、確率的モデルとの性能を比較する。
• Aspell辞書を用いた辞書ベースのアプローチをベースラインとして実装したが、短いテキストに見られる省略語、頭字語、綴りの誤りなどと不一致であるため、性能が低かった。

実験結果

リサーチクエスチョン

• RQ1 UI言語や歴史的言語使用といったユーザー固有のメタデータを組み込むことで、短いソーシャルメディアテキストにおける言語検出精度が向上するか？
• RQ2 Kneser-Neyスムージングを施した確率的モデルは、SVM やロジスティック回帰といった従来の分類器と比較して、短いテキストの言語検出においてどのように差をつけるか？
• RQ3 ユーザーの行動履歴（例：過去に使用した言語）は、言語検出モデルの性能をどの程度向上させるか？
• RQ4 CLD2 や langid といった既存のツールと比較して、提案手法の短いテキストデータにおける精度は定量的にどの程度優れているか？
• RQ5 時差帯ごとの予測言語、UI言語、ツイートのタイミングの相関関係から、どのようなインサイトが得られるか？

主な発見

• UI言語や歴史的言語使用を統合したKneser-Neyスムージングを施した確率的モデルは、全テスト手法の中で最高の分類精度を達成し、SVM やロジスティック回帰を顕著に上回った。
• UI言語やユーザーの言語使用履歴をモデルに統合したことで、検出精度に明確な向上が見られ、ユーザー行動パターンが情報として有効であるという仮説が裏付けられた。
• 辞書ベースの手法は、短いテキストに一般的に見られる省略語、頭字語、綴りの誤りとの不一致のため、性能が低かった。
• CLD2 や langid と比較して、提案手法は精度において顕著に優れており、短いテキストの言語検出において優位性を示した。
• 予測言語とUI言語の間に強い相関が観察された。スペイン語やポルトガル語でツイートするユーザーは、しばしばUI言語としてこれらの言語を設定しており、言語的・地理的整合性が見られた。
• ツイートのタイミング分析から、英語、スペイン語、ポルトガル語の投稿は時差帯全体にわたり均等に分布しているのに対し、中国語のツイートはUTC午後4時を過ぎると急激に減少しており、中国の現地時刻と一致した。