[論文レビュー] Detecting English Writing Styles For Non-native Speakers

Rami Al‐Rfou|arXiv (Cornell University)|Nov 2, 2012

Natural Language Processing Techniques参考文献 10被引用数 6

ひとこと要約

本稿では、英語ウィキペディアのトークページに記録されたコメントを用いて、非ネイティブ英語の書きぶりをスタイリスティックな手法で検出するアプローチを提案する。9,857人のユーザーからフィルタリングされた589,228件のコメントを機械学習に適用した結果、ネイティブ話者と非ネイティブ話者を74%の正確性で区別でき、ドイツ語族やラテン語族といった言語系統の関係が、書きぶりのパターンに顕著に影響を与えていることが判明した。また、誤分類マトリクスから類似した言語がクラスタとして浮き彫りになった。本研究で用いたデータセットは、今後の研究のために公開されている。

ABSTRACT

Analyzing writing styles of non-native speakers is a challenging task. In this paper, we analyze the comments written in the discussion pages of the English Wikipedia. Using learning algorithms, we are able to detect native speakers' writing style with an accuracy of 74%. Given the diversity of the English Wikipedia users and the large number of languages they speak, we measure the similarities among their native languages by comparing the influence they have on their English writing style. Our results show that languages known to have the same origin and development path have similar footprint on their speakers' English writing style. To enable further studies, the dataset we extracted from Wikipedia will be made available publicly.

研究の動機と目的

• 大規模かつ多様なユーザー集団からの非ネイティブ英語の書きぶりパターンと誤りを分析すること。
• 母国語が、非ネイティブ英語の綴り、構文、語彙的選択にどのように影響するかを調査すること。
• 非ネイティブ話者の英語の書きぶりの類似性に基づいて分類・クラスタリングすること。
• 今後のスタイリスティクス研究および言語学習研究のため、ウィキペディアのコメントを公開するデータセットを構築すること。
• 言語系統分類を、書きぶりのパターンの計算的分析を用いて検証すること。

提案手法

• 英語ウィキペディアのトークページから1,200万件のコメントを抽出し、母国語が特定され、20語以上のトークンを含むユーザーを対象にフィルタリングした。
• 固有名を品詞タグに置換し、ASCII以外の文字を特別なトークンに置き換え、複数の母国語を持つユーザーを除外することでコメントをフィルタリングした。
• 単語のunigram、bigram、trigram、文字4-gram、単語4-gram、品詞4-gramを含む言語的特徴を構築した。
• 特徴量を用いてロジスティック回帰分類器を訓練し、ネイティブ話者と非ネイティブ話者を区別するとともに、母国語を分類した。
• 誤分類マトリクスにアフィニティプロパゲーションクラスタリングを適用し、書きぶりのパターンの類似性に基づいて言語をグループ化した。
• 学習曲線を用いてデータサイズの増加がモデル性能に与える影響を評価し、より大きなデータセットでもスケーラビリティを示した。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、現実的で非公式なウィキペディアのコメントを用いて、非ネイティブ英語の書きぶりを高い正確性で検出できるか？
• RQ2 母国語の背景が、非ネイティブ英語の綴り、構文、語彙的パターンにどのように影響するか？
• RQ3 言語系統（例：ゲルマン語族、ラテン語族）の関係が、非ネイティブ英語の書きぶりの類似性とどの程度相関しているか？
• RQ4 分類モデルの誤分類マトリクスを用いて、クラスタリングによって既知の言語グループを回復できるか？
• RQ5 データセットのサイズを増加させることで、非ネイティブ英語の書きぶり検出におけるスタイリスティック分類器の性能はどのように変化するか？

主な発見

• 分類器は、ウィキペディアのコメントを用いてネイティブ話者と非ネイティブ話者を74%の正確性で区別した。
• 分類に最も有益な特徴量は単語bigramであり、次いでunigram、trigram、文字4-gramが続く。長めのn-gramはスパarsityのため情報量が減少した。
• 特にゲルマン語族やラテン語族に属する言語は、分類で高い誤分類率を示し、類似したスタイルの特徴を共有していることが示された。
• 誤分類マトリクスにアフィニティプロパゲーションクラスタリングを適用した結果、ゲルマン語族、ラテン語族、ウロ＝アルタイ語族、 Slavic語族といった、既知の言語系統に一致するクラスタが形成された。
• 特定の品詞4-gramパターン、例えば IN DT NN PRP（ポルトガル語で0.13%、韓国語で0.04%）は、語順や助詞の使用に母国語の影響が顕著に現れていることを示した。
• アラビア語話者は TO DT NN IN のパターン（0.11%）を強く好み、他のグループと比べ顕著に高い頻度を示し、一貫した言語間の影響が確認された。