[論文レビュー] Authorship Verification based on Compression-Models

Oren Halvani, Christian Winter+1 more|arXiv (Cornell University)|Jun 1, 2017

Authorship Attribution and Profiling参考文献 8被引用数 13

ひとこと要約

本論文は、機械学習、自然言語処理、特徴工学を用いない、圧縮モデルに基づく新規で軽量な著者識別検証（AV）手法を提案する。圧縮アルゴリズム、類似度測定（CBC）、しきい値を用いることで、実行時間が速く、多様なAVベンチマーク（クロストピックおよび短文ケースを含む）で優れた結果を達成する。

ABSTRACT

Compression models represent an interesting approach for different classification tasks and have been used widely across many research fields. We adapt compression models to the field of authorship verification (AV), a branch of digital text forensics. The task in AV is to verify if a questioned document and a reference document of a known author are written by the same person. We propose an intrinsic AV method, which yields competitive results compared to a number of current state-of-the-art approaches, based on support vector machines or neural networks. However, in contrast to these approaches our method does not make use of machine learning algorithms, natural language processing techniques, feature engineering, hyperparameter optimization or external documents (a common strategy to transform AV from a one-class to a multi-class classification problem). Instead, the only three key components of our method are a compressing algorithm, a dissimilarity measure and a threshold, needed to accept or reject the authorship of the questioned document. Due to its compactness, our method performs very fast and can be reimplemented with minimal effort. In addition, the method can handle complicated AV cases where both, the questioned and the reference document, are not related to each other in terms of topic or genre. We evaluated our approach against publicly available datasets, which were used in three international AV competitions. Furthermore, we constructed our own corpora, where we evaluated our method against state-of-the-art approaches and achieved, in both cases, promising results.

研究の動機と目的

• 複雑な機械学習や自然言語処理パイプラインを避ける、シンプルで効果的な著者識別検証手法の開発。
• 従来の手法では困難な、トピックやジャンルが異なる文書、および短文といった挑戦的なAVケースへの対応。
• 最小限の実装コストで、高速かつ効率的で再現性の高いAVアプローチの提供。
• 公開AVデータセットおよび新規に構築されたコーパス上で手法を評価し、最先端のアプローチと比較して堅牢で競争力のある性能を示す。

提案手法

• 参考文書および検証対象文書を圧縮アルゴリズム（例：PPMd）で圧縮し、圧縮率に基づいた類似度測定を実行する。
• CBC（圧縮に基づく距離）測定が、類似度の中心的指標として用いられ、結合文書の圧縮長と個々の圧縮長の合計を比較する。
• 分類のため、経験的にしきい値を決定する。
• このアプローチは本質的にラジカルラーニングであり、モデル学習や特徴抽出を必要とせず、圧縮と距離計算に依存する。
• 軽量で高速な設計となっており、標準的なハードウェアでも500件の評価を数秒で処理可能である。
• 圧縮がスタイルパターンを捉えるため、参考文書と検証対象文書のトピックやジャンルの不一致に対しても、強靭性を示す。

実験結果

リサーチクエスチョン

• RQ1 機械学習や自然言語処理技術を用いずに、圧縮に基づく手法が競争力のある著者識別検証性能を達成できるか。
• RQ2 トピックやジャンルが異なる文書、および短文を含む挑戦的なAVケースにおいて、この手法はどの程度の性能を示すか。
• RQ3 異なる圧縮アルゴリズムや類似度測定が、検証精度に及ぼす影響は何か。
• RQ4 複数のベンチマークで、最先端のAVアプローチと比較して、実行時間と精度の両面でこの手法はどの程度の性能を示すか。
• RQ5 トピックの不一致やテキスト長が限られたコーパスを含む多様なコーパスにおいて、この手法は一般化できるか。

主な発見

• すべてのコーパスにおいて、PPMd圧縮アルゴリズムが他のテスト済み圧縮アルゴリズムを上回る著者識別精度を達成した。
• CBC類似度測定は、テスト済みのすべての圧縮アルゴリズムおよびコーパスで、最高かつ最も安定した結果を示した。
• 提案手法は5つのPAN評価コーパスのうち4つでトップクラスの性能を達成し、最も優れた手法の一つにランクされた。
• 新規に構築されたコーパスでは、特にクロストピックおよび短文の状況において、最先端の手法を上回るか同等の性能を示した。
• 標準のラップトップでも、500件の著者識別検証ケースを数秒で処理でき、評価済みのAV手法の中で最も高速の一つであった。
• この手法は高い一般化能力を示し、{{\mathcal{C}}_{\textrm{PAN14es}}}_{\textrm{Eval}} や {{\mathcal{C}}_{\textrm{Reddit}}}_{\textrm{Eval}} のような挑戦的なコーパスでも、AUC値が0.85を超える複数のデータセットで高いAUCおよびc@1スコアを達成した。