[論文レビュー] GitHub Typo Corpus: A Large-Scale Multilingual Dataset of Misspellings and Grammatical Errors

Masato Hagiwara, Masato Mita|arXiv (Cornell University)|Nov 28, 2019

Natural Language Processing Techniques参考文献 25被引用数 17

ひとこと要約

本稿では、GitHubのコミット履歴から抽出した15種類以上の言語で合計35万件以上の誤字訂正と6400万文字の多言語的大規模データセットであるGitHub Typo Corpusを紹介する。3つの特徴量を用いた単純なロジスティック回帰分類器を用いることで、真の誤字訂正と意味的訂正を区別する際のF1スコアが90％に達し、既存のスペルチェッカーの性能が著しく低い（F1 ≈ 0.5）ことが示された。これにより、本データセットは、スペルミスおよび文法的誤り訂正研究のための豊富で現実的であるベンチマークとして確立された。

ABSTRACT

The lack of large-scale datasets has been a major hindrance to the development of NLP tasks such as spelling correction and grammatical error correction (GEC). As a complementary new resource for these tasks, we present the GitHub Typo Corpus, a large-scale, multilingual dataset of misspellings and grammatical errors along with their corrections harvested from GitHub, a large and popular platform for hosting and sharing git repositories. The dataset, which we have made publicly available, contains more than 350k edits and 65M characters in more than 15 languages, making it the largest dataset of misspellings to date. We also describe our process for filtering true typo edits based on learned classifiers on a small annotated subset, and demonstrate that typo edits can be identified with F1 ~ 0.9 using a very simple classifier with only three features. The detailed analyses of the dataset show that existing spelling correctors merely achieve an F-measure of approx. 0.5, suggesting that the dataset serves as a new, rich source of spelling errors that complement existing datasets.

研究の動機と目的

• 自然言語処理におけるスペルミス訂正および文法的誤り訂正（GEC）のための、大規模かつ現実的であるデータセットの不足に対処すること。
• Wikipediaなどから得られる合成的またはノイズの多いデータセット（しばしば語彙的でない編集や改ざんを含む）の限界を克服すること。
• 実世界のソフトウェア開発文脈における本物の誤字訂正を特定するスケーラブルな手法を開発すること。
• 既存のリソースを補完し、自然な人間の誤りパターンを反映する、公開可能で高品質な多言語対応データセットを構築すること。
• 既存のスペルチェッカーが、現実世界の誤りを含む大規模なリアルなデータセット上でどの程度の性能を示すかを評価すること。

提案手法

• コミット履歴のメタデータとコミットメッセージを用いて、潜在的な訂正を特定するため、GitHubのコミット履歴から誤字訂正を収集した。
• 1,000件の編集を手動でアノテートした小規模なサブセットを用いて、言語的でない編集（例：コード変更）をフィルタリングした。
• 編集長さ、編集タイプ、編集位置の3つの特徴量のみを用いたロジスティック回帰分類器を訓練し、誤字訂正と意味的訂正を区別した。
• 訓練済み分類器をホールドアウトテストセットに適用した結果、真の誤字訂正を識別する際のF1スコアが90％に達した。
• ERRANTツールキットを用いて編集タイプを分析し、誤字、綴り、標記、文法的誤りに分類した。
• 既存のスペルチェッカー（AspellおよびEnchant）をこのデータセット上で評価し、現実世界の誤りに対する性能をベンチマーク化した。

実験結果

リサーチクエスチョン

• RQ1 最小限の特徴量を用いた単純な分類器は、GitHubのコミット履歴における真の誤字訂正と意味的訂正を効果的に区別できるか？
• RQ2 実世界のソフトウェア開発におけるスペルミスおよび文法的誤りの分布は、合成的またはWikipediaベースのデータセットと比べてどのように異なるか？
• RQ3 既存のオープンソーススペルチェッカー（例：Aspell、Enchant）は、大規模な現実世界の誤字データセット上でどの程度の性能を示すか？
• RQ4 GitHub Typo Corpusは、多言語的およびコードミックスドテキストを含む多様な言語的パターンをどの程度反映しているか？
• RQ5 現在のスペルチェッカーが捉えられていない誤りパターンが本データセットに含まれており、より優れた訂正モデルの開発の必要性を示唆しているか？

主な発見

• GitHub Typo Corpusには、15種類以上の言語で35万件を超える誤字訂正と6400万文字のデータが含まれており、これまでにない最大規模の多言語誤字データセットである。
• 編集長さ、編集タイプ、編集位置の3つの特徴量のみを用いた単純なロジスティック回帰分類器が、真の誤字訂正を識別する際のF1スコア約0.9を達成した。
• AspellやEnchantなどの既存のスペルチェッカーは、このデータセット上でF1測定値約0.5にとどまり、大幅な改善の余地があることが示された。
• データセットには、綴り、標記、句読点、文法的誤りなど多様な誤りタイプが含まれており、中国語や日本語など非英語圏の言語においても、英語語彙が混在した例が顕著に見られる。
• 頻繁に発生する原子的編集には、単純な挿入や削除（例：'s'の追加や'e'の削除）や、中国語・日本語における助詞の誤用といった文法的誤りが含まれる。
• 多くの誤りがコード関連用語（例：'Gemfile'、'GB-18030'）に発生していることから、現実世界の誤りはしばしば技術用語や多言語混合の文脈を含むことが明らかになった。