[論文レビュー] Rethinking the Authorship Verification Experimental Setups

Florin Brad, Andrei Manolache+4 more|arXiv (Cornell University)|Dec 9, 2021

Authorship Attribution and Profiling被引用数 4

ひとこと要約

本論文は、既存のベンチマークにおけるデータ漏洩および一般化の問題に対処するため、PAN著者識別検証データセットの新たな5つの段階的かつより困難な分割を提案する。トピックおよびスタイルのバイアスを分離し、固有表現をプレースホルダーに置き換えることで、BERTベースのモデルは一般化性能が向上する—特にドメイン外のDarkRedditデータセットにおいて顕著である。これは、誤った固有表現の手がかりに依存するモデルが分布シフト下で著しく性能を発揮しないことを示している。

ABSTRACT

One of the main drivers of the recent advances in authorship verification is the PAN large-scale authorship dataset. Despite generating significant progress in the field, inconsistent performance differences between the closed and open test sets have been reported. To this end, we improve the experimental setup by proposing five new public splits over the PAN dataset, specifically designed to isolate and identify biases related to the text topic and to the author's writing style. We evaluate several BERT-like baselines on these splits, showing that such models are competitive with authorship verification state-of-the-art methods. Furthermore, using explainable AI, we find that these baselines are biased towards named entities. We show that models trained without the named entities obtain better results and generalize better when tested on DarkReddit, our new dataset for authorship verification.

研究の動機と目的

• PAN著者識別検証ベンチマークにおけるクローズドセットとオープンセットのテストセットでの性能の不一致を解消すること。
• 既存の実験設定におけるテキストトピックおよび著者スタイル関連のバイアスを分離し、緩和すること。
• 固有表現などの誤った特徴に依存するのを減らすことで、モデルの一般化性能を向上させること。
• ドメイン外の新しいデータセットDarkRedditを導入し、クロスコーパス一般化能力を評価すること。
• 大規模なモデル評価および今後の研究を支援するため、公開可能で再現可能な分割とベースラインを提供すること。

提案手法

• クローズドセットから完全にオープンセットな構成に至るまでの5つの新しいデータセット分割（Closed, Clopen, Open Unseen Authors, Open Unseen Fandoms, Open All）を設計する。
• BERTベースのモデルをベースラインとして採用し、学習分割で微調整し、5つのテスト分割で評価することで一般化性能を評価する。
• 説明可能なAI（XAI）として統合勾配を用い、モデルの注視度を分析し、固有表現への依存度を特定する。
• 学習データ内の固有表現をプレースホルダー（例：[PERSON], [LOCATION]）に置き換えることで、誤った特徴の学習を軽減する。
• PANおよび新たに導入されたDarkRedditデータセットの両方でモデルを学習・評価し、分布シフト下でのゼロショット一般化性能をテストする。
• BERTのコンテキスト長制限を補うために、長文を512トークンのチャンクに分割し、予測結果を統合する。

実験結果

リサーチクエスチョン

• RQ1 既存のPANデータセット分割は、クローズドセット評価の性能を誇張する要因となるデータ漏洩をどの程度引き起こしているか？
• RQ2 BERTベースのモデルは、段階的にオープンな実験設定においてどのように性能を発揮するか？また、固有表現を含まない学習で一般化性能が向上するか？
• RQ3 固有表現は著者識別意思決定においてどのような役割を果たしているか？その削除はモデルの頑健性を向上させるか？
• RQ4 PANで学習したモデルは、DarkRedditのような顕著に異なるドメインにどの程度一般化できるか？
• RQ5 単純なデータ前処理ステップ（固有表現をプレースホルダーに置換）が、測定可能な性能向上とより良い一般化をもたらすか？

主な発見

• BERTベースのモデルは、競争的な性能を発揮し、Clopen分割で97.4%、Open UF分割で91.6%を達成。非ニューラルベースラインを上回り、SOTAのO2D2結果に近づいた。
• 固有表現を削除して学習したモデルは、DarkRedditテストセットでF1スコアが5.6%向上し、分布シフト下での一般化性能の向上を確認した。
• 統合勾配分析により、モデルが著者識別意思決定において固有表現に強く依存していることが判明。特にオープンセットの状況で顕著であった。
• 固有表現をプレースホルダーに置換することで、Open All分割での全体的な性能が1.4ポイント向上（81.7から83.1）、AUCは91.1から94.3に上昇した。
• O2D2モデルは最も困難なOpen All分割で性能を発揮しなかったが、固有表現を含まない学習で微調整したBERTモデルは、著しく優れた一般化性能を示した。
• 固有表現を削除した場合、開発セットの性能がテストセットの性能をより的確に予測するようになり、誤った特徴への過学習が軽減された。