[論文レビュー] Authorship Identification in Bengali Literature: a Comparative Analysis

Tanmoy Chakraborty|arXiv (Cornell University)|Aug 30, 2012

Authorship Attribution and Profiling参考文献 11被引用数 17

ひとこと要約

本稿は、スタイルメトリクス特徴量と機械学習を用いたベンガル文学における著者識別システムを提案し、SVMが統計モデルや他の分類器を上回ることを示している。語長、キーワード重複、フレーズ頻度といった重要なスタイル的特徴が、ジャンルや時代的手がかりが欠如している状況でも著者を一貫して区別できることが明らかになった。

ABSTRACT

Stylometry is the study of the unique linguistic styles and writing behaviors of individuals. It belongs to the core task of text categorization like authorship identification, plagiarism detection etc. Though reasonable number of studies have been conducted in English language, no major work has been done so far in Bengali. In this work, We will present a demonstration of authorship identification of the documents written in Bengali. We adopt a set of fine-grained stylistic features for the analysis of the text and use them to develop two different models: statistical similarity model consisting of three measures and their combination, and machine learning model with Decision Tree, Neural Network and SVM. Experimental results show that SVM outperforms other state-of-the-art methods after 10-fold cross validations. We also validate the relative importance of each stylistic feature to show that some of them remain consistently significant in every model used in this experiment.

研究の動機と目的

• ベンガル語文学における機械学習ベースの著者識別システムを開発すること。これは、先行するスタイルメトリクス研究が限られている低リソース言語である。
• 同じ特徴量セットを用いて、統計的類似度モデル（コサイン、カイ二乗、ユークリッド）と機械学習モデル（SVM、決定木、ニューラルネットワーク）を比較すること。
• 著者を区別するためのスタイル特徴の相対的な重要度を特定し、検証すること。
• インドの言語における将来的なスタイルメトリクス研究のベースラインを確立するため、編集済みのベンガル文学テキストコーパスを分析すること。

提案手法

• 部分品詞、フレーズ境界、文分割を抽出するために、簡易パーサーを用いてベンガル語テキストを前処理する。
• 語彙的、フレーズ的、文脈的レベルで、語長、標点記号数、名詞句／動詞句頻度、キーワード重複を含む、11個の正規化されたスタイル特徴を抽出する。
• TF-IDFを用いて、ストップワードを除き、各著者ごとに上位50語の高頻度キーワードを特定し、著者固有のキーワードセットを形成する。
• データセットのサイズが限られているため、過学習を防ぐために10分割交差検証を適用する。
• SVM、決定木、ニューラルネットワーク分類器を用いて、予測精度と特徴量の重要度を比較する。
• 1つの特徴量を順次除外することでアブレーションスタディを実施し、モデル精度に与える影響を測定し、特徴量の関連性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ジャンルや時代的時期が制御された状況下で、機械学習モデルはスタイルメトリクス特徴量を用いてベンガル文学テキストの著者を効果的に特定できるか？
• RQ2 コサイン、カイ二乗、ユークリッドといった統計的類似度測度は、SVM、DT、NNといった機械学習モデルと比較して、ベンガル語の著者識別においてどのように差を示すか？
• RQ3 異なる機械学習モデルにおいて、ベンガル語の著者識別で最も一貫して有意なスタイル特徴は何か？
• RQ4 特徴量のアブレーションはモデルの精度にどのように影響するか？また、性能差の主な要因となっている特徴量は何か？
• RQ5 著者識別システムにおける主な誤分類の原因は何か？また、それらは著者固有の文章パターンとどのように関連しているか？

主な発見

• SVMは、10分割交差検証における平均精度が最も高く、性能のばらつきも著しく小さく、モデルの堅牢性を示している。
• 語長が、すべてのモデルで一貫して最も重要な特徴量であった。続くのは、ターゲット著者とのキーワード重複（KW(R)、KW(A)、KW(O)）と名詞句頻度であった。
• 対照的に、対話文の長さや未知語数といった特徴量は、SVMでは重要であったが、決定木やニューラルネットワークモデルではそれほど影響力が低く、特徴量の重要度がモデル依存であることが示された。
• Cohen’s Kappa分析により、決定木とニューラルネットワーク間のモデル間一致度が高く、両者ともSVMほど正確ではなかった。これはSVMの優れた識別力の証左である。
• 本システムは著者Rを過剰に推定するバイアスを示しており、これはその著者のコーパスに多様性がなく、構造が不十分な訓練データに起因している可能性がある。
• アブレーションスタディの結果、語長やキーワード重複といった重要な特徴量を除外すると、精度が最も著しく低下した。これは、これらの特徴量が著者識別の中心的役割を果たしていることを確認した。