[論文レビュー] Deep Bayes Factor Scoring for Authorship Verification

Benedikt Boenninghoff, Julian Rupp+2 more|arXiv (Cornell University)|Aug 23, 2020

Authorship Attribution and Profiling参考文献 18被引用数 5

ひとこと要約

本稿では、ファンフィクションの著者識別に向け、シアンプス型ニューラルネットワークと確率的ベイズ因子スコアリングを統合したエンドツーエンドのディープメトリック学習フレームワーク、Deep Bayes Factor Scoringを提案する。トピックに依存しないスタイルに敏感な埋め込みを学習し、潜在空間における統計的スコアリングを適用することで、PAN 2020 AVチャレンジにおいて、小規模および大規模データセットの両方で、他のすべてのシステムを上回る最先端の性能を達成した。

ABSTRACT

The PAN 2020 authorship verification (AV) challenge focuses on a cross-topic/closed-set AV task over a collection of fanfiction texts. Fanfiction is a fan-written extension of a storyline in which a so-called fandom topic describes the principal subject of the document. The data provided in the PAN 2020 AV task is quite challenging because authors of texts across multiple/different fandom topics are included. In this work, we present a hierarchical fusion of two well-known approaches into a single end-to-end learning procedure: A deep metric learning framework at the bottom aims to learn a pseudo-metric that maps a document of variable length onto a fixed-sized feature vector. At the top, we incorporate a probabilistic layer to perform Bayes factor scoring in the learned metric space. We also provide text preprocessing strategies to deal with the cross-topic issue.

研究の動機と目的

• トピックの変動が従来のスタイルメトリクス特徴を損なう、クローズドセットのトピック跨ぎ著者識別課題に取り組むこと。
• 多様な執筆トピックにわたる一般化を向上させるために、トピックに依存しないスタイルに敏感な表現を学習するディープラーニングシステムを開発すること。
• 学習されたメトリクス空間に確率的ベイズ因子スコアリングを統合し、信頼性がありキャリブレーションされた識別意思決定を可能にすること。
• ジャンル、感情、または隠ぺい戦略に起因するスタイルの変動に対しても耐性を高めつつ、高い識別力維持すること。
• メトリック学習と統計的推論を統合した一貫性のあるエンドツーエンドフレームワークを構築し、AV性能の向上を図ること。

提案手法

• 可変長ドキュメントを固定長の特徴ベクトルに埋め込むために、シアンプス型ニューラルネットワークアーキテクチャを用い、執筆スタイルを捉える疑似距離を学習する。
• 埋め込み空間における著者間距離を最大化し、著者内距離を最小化するために、コントラスト損失を用いてモデルを訓練する。
• 学習済み埋め込みの上流に確率的層を追加し、ベイズ因子を計算することで、統計的に根拠のある識別スコアリングを可能にする。
• 訓練中にドキュメントペアのランダム再結合を用いたデータオーグメンテーションを実施し、訓練データの多様性と耐性を向上させる。
• トピック固有のノイズを低減し、スタイル特徴に焦点を当てるために、テキスト前処理戦略を適用する。
• テスト時にアンサンブル推論を用い、Tiraプラットフォーム上のCPUメモリ使用量を最小限に抑えるために、モデルを逐次評価する。

実験結果

リサーチクエスチョン

• RQ1 ディープメトリック学習フレームワークは、トピックに依存しないスタイルに敏感な表現を学習でき、トピック跨ぎ著者識別に適しているか？
• RQ2 学習された埋め込み空間にベイズ因子スコアリングを統合することで、識別性能とキャリブレーションが向上するか？
• RQ3 本手法は、ファンフィクションテキストにおけるトピック、感情、ジャンルに起因するスタイルの変動をどれほど効果的に処理できるか？
• RQ4 ランダムペア再結合によるデータオーグメンテーションは、モデルの一般化能力と耐性を向上させるか？
• RQ5 モデルの注目メカニズムは、標高や句読点といった表面的特徴ではなく、意味的な言語的パターンに集中しているか？

主な発見

• 提案手法は、大規模データセットを用いたテストセットでAUC 0.969を達成し、PAN 2020著者識別チャレンジにおいて、他のすべてのシステムを上回った。
• 大規模学習データを用いたアンサンブルモデルは、テストセットでc@1スコア0.928およびF1スコア0.936を達成し、優れた一般化性能を示した。
• エントロピー曲線から、トレーニング中に著者内可変性が著しく低下し、著者間可変性が増加していることが示され、効果的なメトリック学習が行われたことが裏付けられた。
• 注目ヒートマップから、モデルは機能語や句読点ではなく、文脈的語使いやフレーズの繰り返しに注目していることが明らかになった。これは、スタイルパターンに敏感であることを示唆している。
• トピックのシフトやジャンルの違いに対しても耐性を示し、多様なファンフィクションテキストにおいて一貫した性能を発揮した。
• 限られたデータでも高い性能を発揮し、小規模データセットモデルはテストセットでAUC 0.940およびF1 0.906を達成した。