[論文レビュー] More than Word Frequencies: Authorship Attribution via Natural Frequency Zoned Word Distribution Analysis

Zhili Chen, Liusheng Huang+3 more|arXiv (Cornell University)|Aug 15, 2012

Authorship Attribution and Profiling参考文献 16被引用数 9

ひとこと要約

本稿では、単語の出現頻度を越えて、テキスト内の語のグループ化、出現頻度、分布パターンを分析することで、内在的なライティングスタイルを捉える、自然周波数ゾーン別語分布分析（NFZ-WDA）という新しい著者識別手法を提案する。広範な実験による評価において、NFZ-WDAは閉形式語彙および開放形式語彙の両方の著者識別タスクにおいて、著者固有の指紋を構造的な語分布モデリングによって特定する有効性を示し、著者識別精度を顕著に向上させた。

ABSTRACT

With such increasing popularity and availability of digital text data, authorships of digital texts can not be taken for granted due to the ease of copying and parsing. This paper presents a new text style analysis called natural frequency zoned word distribution analysis (NFZ-WDA), and then a basic authorship attribution scheme and an open authorship attribution scheme for digital texts based on the analysis. NFZ-WDA is based on the observation that all authors leave distinct intrinsic word usage traces on texts written by them and these intrinsic styles can be identified and employed to analyze the authorship. The intrinsic word usage styles can be estimated through the analysis of word distribution within a text, which is more than normal word frequency analysis and can be expressed as: which groups of words are used in the text; how frequently does each group of words occur; how are the occurrences of each group of words distributed in the text. Next, the basic authorship attribution scheme and the open authorship attribution scheme provide solutions for both closed and open authorship attribution problems. Through analysis and extensive experimental studies, this paper demonstrates the efficiency of the proposed method for authorship attribution.

研究の動機と目的

• テキストの複写や解析が広範にわたる中で、デジタルテキストにおける著者確認の課題を解決すること。
• 基本的な語頻度分析を超えて、内在的なライティングスタイルを捉える手法を開発すること。
• 閉形式語彙および開放形式語彙の両方の著者識別問題に対応する堅牢なフレームワークを提案すること。
• テキスト内の語分布パターンの構造的分析を通じて、著者スタイルをモデリングすること。

提案手法

• NFZ-WDAは、テキスト全体における語の出現パターンに基づいて、語を自然周波数ゾーンに分割する。
• 語の使用状況を3次元で分析する：どの語グループが使われているか、各グループの出現頻度、およびその出現の空間的分布。
• 複数のゾーンにわたる分布特徴を集約することでスタイリスティックプロファイルを構築し、微細なスタイル差を捉える。
• 閉形式語彙の状況では、NFZ-WDA特徴に基づく教師あり学習を用いて基本的な著者識別スキームを構築する。
• 開放形式の著者識別スキームでは、分布的類似性とクラスタリングを活用して、事前に分かっていない著者セットに対しても拡張する。
• 語の分布の統計的モデリングを用いて、個々のライティングスタイルを反映する判別特徴を抽出する。

実験結果

リサーチクエスチョン

• RQ1 単純な頻度カウントを超えた語の分布パターンが、著者固有のスタイル特徴を信頼性高く捉えられるか？
• RQ2 NFZ-WDAは、従来の語頻度ベースの手法と比較して、著者識別精度で優れているか？
• RQ3 著者があらかじめ分かっていない状況である開放形式語彙の著者識別に、NFZ-WDAはどの程度一般化可能か？
• RQ4 分布構造（空間的および周波数ゾーニング）が著者を区別する上で果たす貢献度はいかほどか？
• RQ5 NFZ-WDAは、多様なテキストジャンルやライティングスタイルにわたってどの程度頑健か？

主な発見

• NFZ-WDAは、著者識別タスクにおいて、従来の語頻度ベースの手法を顕著に上回る。
• 微細なスタイルパターンを捉えることで、閉形式語彙の著者識別において高い精度を達成した。
• 開放形式の設定においても、NFZ-WDAは高い性能を維持し、未知の著者セットへの適応性を示した。
• 分布構造（空間的および周波数ゾーニング）を組み込むことで、頻度のみのモデルと比較して特徴の判別能が向上した。
• 広範な実験的検証により、多様なテキストコーパスおよびライティングスタイルにわたる本手法の頑健性が確認された。