[論文レビュー] An Investigation of Supervised Learning Methods for Authorship Attribution in Short Hinglish Texts using Char & Word N-grams.

Abhay Sharma, Ananya Nandan+1 more|arXiv (Cornell University)|Dec 26, 2018

Authorship Attribution and Profiling参考文献 19被引用数 7

ひとこと要約

本研究は、ヒンディ語と英語の混合言語（Hinglish）の短いテキストにおける著者識別に、教師あり学習手法を適用する。文字n-gramと単語n-gramを用い、サポートベクターマシン（SVM）が文字3-gramと単語ユニグラムを組み合わせることで最大95.079%の精度を達成し、他のモデルや特徴タイプを上回ることを確認した。これは、低リソースで非標準的なマカロニック言語がソーシャルメディアで使用される文脈において、n-gramベースのアプローチが有効であることを示している。

ABSTRACT

The writing style of a person can be affirmed as a unique identity indicator; the words used, and the structuring of the sentences are clear measures which can identify the author of a specific work. Stylometry and its subset - Authorship Attribution, have a long history beginning from the 19th century, and we can still find their use in modern times. The emergence of the Internet has shifted the application of attribution studies towards non-standard texts that are comparatively shorter to and different from the long texts on which most research has been done. The aim of this paper focuses on the study of short online texts, retrieved from messaging application called WhatsApp and studying the distinctive features of a macaronic language (Hinglish), using supervised learning methods and then comparing the models. Various features such as word n-gram and character n-gram are compared via methods viz., Naive Bayes Classifier, Support Vector Machine, Conditional Tree, and Random Forest, to find the best discriminator for such corpora. Our results showed that SVM attained a test accuracy of up to 95.079% while similarly, Naive Bayes attained an accuracy of up to 94.455% for the dataset. Conditional Tree & Random Forest failed to perform as well as expected. We also found that word unigram and character 3-grams features were more likely to distinguish authors accurately than other features.

研究の動機と目的

• WhatsAppから得た短く非公式なHinglishテキストにおける著者識別のための教師あり学習手法を評価すること。
• マカロニック言語における著者の区別に、単語n-gramと文字n-gramがどのように言語的特徴として有効であるかを評価すること。
• Hinglishコーパスにおいて、ナイーブベイズ、SVM、条件木、ランダムフォレストの各分類器の性能を比較すること。
• 非標準的で混合された言語テキストにおける著者識別に最適な特徴タイプ（n-gramの順序）と特徴重み付け方式（バイナリ、TF、TF-IDF）を同定すること。
• Hinglishにおける個性的な綴り方や文法的特徴が、著者識別に信頼できる特徴として機能するかどうかを検討すること。

提案手法

• 4人の著者によるWhatsAppの個人およびグループメッセージから、76,000語分の短いHinglishテキストを収集した。
• 言語的特徴として、単語n-gram（ユニグラムからトライグラムまで）と文字n-gram（最大トライグラムまで）を抽出した。
• 3種類の特徴重み付け方式を適用した：バイナリ重み、語句頻度（TF）、TF-IDF。
• 4つの教師あり分類器（ナイーブベイズ、サポートベクターマシン（SVM）、条件木、ランダムフォレスト）を訓練および評価した。
• 全モデルおよび特徴組み合わせの性能推定を信頼性高く行うために、10分割交差検証を実施した。
• 標準指標（正確度、真正陽性率（TPR）、精度）を用いてモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 短いHinglishテキストにおける著者識別に最も適した教師あり学習アルゴリズムは何か？
• RQ2 マカロニック言語における著者識別で、最も高い分類精度を達成するのは単語n-gramか文字n-gramのどちらか？
• RQ3 バイナリ、TF、TF-IDFといった異なる特徴重み付け方式は、Hinglishコーパスにおけるモデル性能にどのように影響するか？
• RQ4 短くスパースなHinglishテキストでは、高次のn-gram（例：バイグラム、トライグラム）を用いることで性能が著しく低下するか？
• RQ5 Hinglishにおける個性的な綴り方や文法的パターンは、著者識別に有効な区別特徴として機能するか？

主な発見

• SVMが文字3-gramを用いた場合、95.079%の最高テスト精度を達成し、他のすべてのモデルを上回った。
• ナイーブベイズは単語ユニグラムを用いて最大94.455%の精度を達成し、全モデルの中で2番目に高い性能を示した。
• 条件木とランダムフォレストは性能が低く、この特徴セットではこのタスクに適さないことが示された。
• 単語ユニグラムと文字3-gramが最も効果的な特徴であり、高次のn-gramでは性能が著しく低下した。
• バイナリ重み付けが全体で最も優れた結果を示し、次に語句頻度（TF）が続いた。TF-IDFは決定木およびランダムフォレストではSVMやナイーブベイズよりも優れた性能を示した。
• 本研究は、語彙的豊かさ、非標準的綴り、Hinglishにおけるユーザー固有の文法的特徴が、n-gram特徴によって捉えられることで、信頼できる著者識別子として機能することを確認した。