[論文レビュー] On the State of the Art in Authorship Attribution and Authorship Verification

Jacob Tyo, Bhuwan Dhingra+1 more|arXiv (Cornell University)|Sep 14, 2022

Authorship Attribution and Profiling被引用数 7

ひとこと要約

本稿では、15のデータセットで8つの手法を用いた著者属性付与（AA）と著者検証（AV）のための標準化されたベンチマーク、Vallaを紹介している。著者属性付与の分野では、限られたデータでN-gramモデルがBERTベースのモデルを上回るが、大規模なデータセットやドメインシフトの状況ではBERTベースのモデルが最先端の性能を発揮する。特にAVで訓練されたモデルにハードネガティブマイニングを適用することで、AAタスクでも高い性能が得られる。

ABSTRACT

Despite decades of research on authorship attribution (AA) and authorship verification (AV), inconsistent dataset splits/filtering and mismatched evaluation methods make it difficult to assess the state of the art. In this paper, we present a survey of the fields, resolve points of confusion, introduce Valla that standardizes and benchmarks AA/AV datasets and metrics, provide a large-scale empirical evaluation, and provide apples-to-apples comparisons between existing methods. We evaluate eight promising methods on fifteen datasets (including distribution-shifted challenge sets) and introduce a new large-scale dataset based on texts archived by Project Gutenberg. Surprisingly, we find that a traditional Ngram-based model performs best on 5 (of 7) AA tasks, achieving an average macro-accuracy of $76.50\%$ (compared to $66.71\%$ for a BERT-based model). However, on the two AA datasets with the greatest number of words per author, as well as on the AV datasets, BERT-based models perform best. While AV methods are easily applied to AA, they are seldom included as baselines in AA papers. We show that through the application of hard-negative mining, AV methods are competitive alternatives to AA methods. Valla and all experiment code can be found here: https://github.com/JacobTyo/Valla

研究の動機と目的

• データセット、分割、評価メトリクスの不整合がAAとAV研究に与える影響を解消すること。
• AAとAVのためのデータセット、メトリクス、評価プロトコルを標準化するオープンソースのベンチマーク「Valla」を導入すること。
• Project Gutenbergから得た新しい大規模データセットも含め、15のデータセットで8つの先進的AAおよびAV手法を包括的かつ統一的に評価すること。
• AV手法がAAタスクにどれほど転送可能かを調査し、ハードネガティブマイニングの性能への影響を評価すること。
• AAとAVの主要メトリクスとしてマクロ精度とAUCを確立し、今後の研究における採用を提唱すること。

提案手法

• 著者らは、一貫した訓練/検証/テスト分割、均一な前処理、ドメインシフトを考慮したテストセットを備えた、既存のAAおよびAVデータセットを標準化するVallaというベンチマークを構築した。
• 公共ドメインのテキストに基づく新しい大規模データセットを導入した。平均テキスト長が長く、著者間の分布がバランスされている。
• ベンチマークでは、AAにはマクロ精度、AVにはAUCを標準化された評価指標として採用し、手法間の公平な比較を実現した。
• N-gram、BERTベース、LSTMベースのモデルを含む8つの最先端AAおよびAVモデルを、i.i.d.およびドメインシフトの両設定で評価した。
• AVモデル（特にBERT${}_{\text{V}}$）に対して、バッチハードサンプリングを用いたトリプレット損失を用いてハードネガティブマイニングを実施し、AA設定での性能を向上させた。
• AAとAV手法を直接比較し、AVデータで訓練したモデルをAAタスクに微調整する方法を採用。事前学習と語彙選択のアブレーションも実施した。

実験結果

リサーチクエスチョン

• RQ1 不整合なデータセット分割や評価プロトコルがある中で、最先端のAAおよびAVモデルの性能に顕著な差が生じるか？
• RQ2 適切に適応されたAV手法は、ハードネガティブマイニングを適用することで、AAタスクにおいても競争力のある性能を発揮できるか？
• RQ3 著者1人あたりのテキスト長が増加するにつれて、AAおよびAVのモデル性能はどのように変化するか。特にN-gramとトランスフォーマーに基づくモデルを比較して検証する。
• RQ4 ドメインシフトが、従来の手法とディープラーニングベースのAAおよびAV手法の性能に与える影響は何か？
• RQ5 大規模データでの事前学習がAAおよびAVの性能に与える影響は何か。また、一貫してより良い一般化性能をもたらすのか？

主な発見

• 著者1人あたり約10万語未満のデータを有する7つのAAタスクのうち5つにおいて、N-gramベースのモデルが76.50%のマクロ精度を記録し、BERTベースのモデル（66.71%）を上回った。
• 著者1人あたりの語数が最も高い2つのAAデータセット、IMDb62とBlogs50では、BERTベースのモデルがそれぞれ98.81%および74.95%のマクロ精度を達成し、最先端の性能を示した。
• 長文の公共ドメインテキストに基づく新規に導入されたGutenbergデータセットでは、十分な訓練データが確保できる状況下で、BERTベースのモデルがN-gramを上回ることを示した。
• AAタスクに応用したAVモデル（例：BERT${}_{\text{V}}$）は、AAモデルと比較して平均で15ポイント以上低いマクロ精度（59.89% vs. 76.80%）を示した。
• ハードネガティブマイニングにより、BERT${}_{\text{V}}$のAAタスクにおけるマクロ精度は67.21%から72.42%に向上し、専用AAモデルとの性能差を顕著に縮小した。AVのAUCは維持された。
• 本研究では、AVの定式化が、バランスの取れた二値分類設定により、深層学習モデルの最適化と一般化を促進するため、より効果的であることが確認された。