[論文レビュー] Authorship Verification - An Approach based on Random Forest

Promita Maitra, Souvick Ghosh+1 more|arXiv (Cornell University)|Jul 29, 2016

Authorship Attribution and Profiling参考文献 7被引用数 18

ひとこと要約

本論文では、クロスジャンルおよびクロスポピックな状況下で既知の著者と未知の著者を区別するために、語彙ベースおよびスタイルベースの特徴を用いたランダムフォレストベースのアプローチを提案する。PAN 2015ベンチマークで評価されたこの手法は、アンサンブル学習を活用して著者を高精度に分類することで、競争力ある性能を達成した。これにより、特徴工学と木ベースの分類が著者検証タスクにおいて有効であることが示された。

ABSTRACT

Authorship attribution, being an important problem in many areas in-cluding information retrieval, computational linguistics, law and journalism etc., has been identified as a subject of increasingly research interest in the re-cent years. In case of Author Identification task in PAN at CLEF 2015, the main focus was given on cross-genre and cross-topic author verification tasks. We have used several word-based and style-based features to identify the dif-ferences between the known and unknown problems of one given set and label the unknown ones accordingly using a Random Forest based classifier.

研究の動機と目的

• デジタルフォレンジックスおよび計算言語学で一般的な、クロスジャンルおよびクロスポピックな設定における著者検証の課題に対処すること。
• 言語的およびスタイル的特徴を用いて、既知の著者と未知の著者を区別できる堅牢な分類システムを開発すること。
• PAN 2015における著者検証タスクに対してランダムフォレスト分類器の性能を評価し、著者スタイルの現実世界におけるばらつきに着目すること。
• 多様な書き出しサンプルを扱う際のアンサンブル手法の有効性を示すことで、著者属性分野に貢献すること。

提案手法

• 著者らは、語彙的、構文的、構文的複雑さの指標を含む、語彙ベースおよびスタイルベースの特徴の包括的なセットをテキストサンプルから抽出する。
• 特徴は、既知の著者と未知の著者の間での語彙使用、文構造、スタイルパターンの違いを捉えるように設計されている。
• 検証済みおよび未検証の著者アイデンティティの間の意思決定境界を学習するために、抽出された特徴に基づいてランダムフォレスト分類器を訓練する。
• モデルはバギングと特徴のランダム性を用いて、多様なテキストジャンルやトピックにわたる過学習を低減し、一般化性能を向上させる。
• このアプローチは、クロスジャンルおよびクロスポピックなテストシナリオを含むPAN 2015著者検証データセット上で評価されている。
• 性能は、精度やF1スコアなどの標準指標を用いて測定され、CLEF 2015ワークショップの文脈で結果が報告されている。

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレスト分類器は、言語的およびスタイル的特徴を用いて、異なるジャンルやトピック間で著者検証を効果的に行えるか？
• RQ2 クロスジャンル設定において、語彙ベースの特徴とスタイルベースの特徴は、既知の著者と未知の著者を区別する能力でどのように比較されるか？
• RQ3 ランダムフォレストのアンサンブル性は、単一モデルアプローチと比較して、検証精度をどの程度向上させるか？
• RQ4 特徴の多様性は、著者検証システムのロバスト性を高めるにあたり、どの程度寄与するか？

主な発見

• ランダムフォレスト分類器はPAN 2015著者検証タスクで競争力ある性能を示し、多様なテキストジャンルやトピックにわたる強力な一般化能力を示した。
• 語彙ベースおよびスタイルベースの特徴を統合することで、単体で使用する場合と比較して分類精度が顕著に向上した。
• ランダムフォレストのアンサンブル構造のおかげで、リソースが限られるか、ドメイン外の状況においても過学習が低減された。
• この手法はクロスポピック検証においてもロバストであったことから、スタイルパターンが信頼できる著者特定を支えるのに十分に安定していることが示された。