[論文レビュー] Authorship Attribution Using Word Network Features

Shibamouli Lahiri, Rada Mihalcea|arXiv (Cornell University)|Nov 12, 2013

Authorship Attribution and Profiling参考文献 31被引用数 10

ひとこと要約

本稿では、テキストの複雑ネットワーク特性から導出された新しい単語ネットワーク特徴量を提案し、著者識別に応用する。局所的グラフ特徴量、特に頂点コアネスとクラスタ係数が、ベンチマークデータセット上で分類精度を顕著に向上させることを示しており、従来の語句頻度特徴量や要約グラフ特徴量を上回る。特に、大規模なストップワード代表語集合と組み合わせた場合に顕著な効果を示す。

ABSTRACT

In this paper, we explore a set of novel features for authorship attribution of documents. These features are derived from a word network representation of natural language text. As has been noted in previous studies, natural language tends to show complex network structure at word level, with low degrees of separation and scale-free (power law) degree distribution. There has also been work on authorship attribution that incorporates ideas from complex networks. The goal of our paper is to explore properties of these complex networks that are suitable as features for machine-learning-based authorship attribution of documents. We performed experiments on three different datasets, and obtained promising results.

研究の動機と目的

• 機械学習に基づく著者識別のための単語ネットワークからの複雑ネットワーク特徴量の有効性を調査すること。
• 著者スタイルを区別するのに最も効果的なネットワーク特性（局所的 vs. 全体的、頻度論的 vs. 非頻度論的）を特定すること。
• AAAC や PAN12 を含む大規模およびコンペティション水準のデータセットを用いて、これらの特徴量の実世界での性能を評価すること。
• 標準語句頻度ベースラインおよび既存の最先端手法と比較して、単語ネットワーク特徴量の有効性を評価すること。

提案手法

• 文書から単語ネットワークを構築する。固有の語をノードとし、テキスト内の隣接語をエッジで接続する。
• 包括的なネットワーク特徴量の抽出：頂点次数、クラスタ係数、コアネス、近隣ノード数、およびグラフ要約統計量（例：直径、密度）を含む。
• 代表語集合（例：上位500語の頻出語、ストップワード）を用いて局所的特徴量を計算し、次元削減と顕著なスタイル的兆候への集中を実現する。
• 語句頻度とネットワーク特徴量を組み合わせた文書レベルの特徴量ベクトルを用いて、複数の分類器（例：Logit Boost、k-NN）を訓練・評価する。
• 特徴量に原始的な語句頻度を追加した際の影響を評価するためのアブレーションスタディを実施し、異なる特徴量タイプおよび代表語集合における性能を比較する。
• ゲーブンバーグ・データセット上で情報ゲイン順序付けを適用し、特徴量の判別力の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 著者識別タスクにおいて、局所的特徴量か全体的特徴量のどちらがより優れた性能を示すか？
• RQ2 頂点コアネスやクラスタ係数といった局所的特徴量は、従来の語句頻度ベースラインと比較して著者分類においてどのように優れているか？
• RQ3 グラフ要約特徴量（例：直径、密度）は、局所的特徴量と比較して著者識別にどの程度貢献するか？
• RQ4 代表語集合のサイズは、コアネスやクラスタ係数といった局所的ネットワーク特徴量の性能にどのような影響を及えるか？
• RQ5 AAAC や PAN12 のような標準化された著者識別コンペティションにおいて、単語ネットワーク特徴量は最良の報告結果を上回るか、あるいは同等の性能を達成できるか？

主な発見

• 局所的単語ネットワーク特徴量、特に頂点コアネスとクラスタ係数は、著者識別タスクにおいて、全体的グラフ要約特徴量を顕著に上回った。
• AAAC データセットでは、単語ネットワーク特徴量が最良のテストセット正答率26.25％（Logit Boost）を達成し、10問中8問で報告済み最良結果を同等または上回った。
• PAN12 データセットでは、Logit Boostを用いて最良正答率33.53％を達成し、3問中2問でベースラインを上回った。
• 原始的な語句頻度を追加しても、ほとんどまたは全く性能向上が得られなかったため、ネットワーク特徴量自体が非常に判別力が高いことが示された。
• ゲーブンバーグ・データセットで情報ゲイン順に上位20位内に入った特徴量には、複数の局所的ネットワーク特徴量に加え、頻出ストップワードが含まれており、著者スタイルの予測力が強いことが確認された。
• 頂点コアネスの性能は、代表語集合のサイズに敏感であり、より小さな集合でより良い結果が得られた。これは、語彙サイズに応じた慎重な特徴量設計の必要性を示唆している。