[論文レビュー] VeriDark Agora Authorship Verification Dataset

Andrei Manolache, Florin Brad+3 more|arXiv (Cornell University)|Jul 7, 2022

Authorship Attribution and Profiling被引用数 13

ひとこと要約

VeriDark は、消滅したマーケットプレイス（Agora、SilkRoad1）およびダークウェブ関連のRedditフォーラム（DarkReddit+）から構成される、ダークウェブにおける著者特定のための大規模ベンチマークを紹介する。加えて、10者による著者識別タスクも含む。本研究では、これらのデータセット上でBERTベースのモデルを評価し、ドメインシフトが性能に顕著な影響を及えることを示し、専門用語や標点など、偽の信号（spurious signals）としての可能性を示唆する言語的特徴を特定した。

ABSTRACT

<pre>VeriDark (Authorship Verification in the DarkNet) is a benchmark for evaluating authorship analysis methods in a cybersecurity context, by introducing datasets gathered from the DarkNet marketplace forums or from Darknet-related discussions on Reddit. This benchmark contains three datasets for authorship verification and one dataset for authorship identification.</pre>

研究の動機と目的

• サイバーセキュリティ文脈、特にダークウェブにおける著者特定のための、大規模かつドメイン特化されたデータセットの不足に対処すること。
• 文学的コーパスではなく、実世界のサイバー犯罪関連テキストデータで訓練された堅牢なNLPモデルの開発と評価を可能にすること。
• 一般文学コーパス（例：PAN2020）で事前学習されたモデルと、ダークウェブデータでファインチューニングされたモデルとの間の性能差を評価すること。
• 責任ある研究を支援するため、倫理的セーフティーガードを備えた公開ベンチマークを提供すること。
• 著者特定において偽の信号として作用する可能性のある言語的特徴（例：標点、固有名詞、専門用語）を分析すること。

提案手法

• Redditの/r/darknetmarkets、ダークウェブマーケットプレイスフォーラムのAgora、および消滅したダークウェブマーケットプレイスフォーラムのSilkRoad1からテキストデータを収集した。
• 著者特定データセット3つ（Agora、SilkRoad1、DarkReddit+）および、最も活発な上位10ユーザーからの10者による著者識別データセットを構築した。
• 個人識別情報を減らし、プライバシーリスクを低減し、データ漏洩を防ぐためにユーザー名を匿名化し、機密データ（例：PGP鍵、メッセージ）を削除した。
• VeriDarkデータセットでBERTベースのモデルを訓練し、PAN2020データセットで事前学習されたモデルと性能を比較した。
• 倫理的利用の明記と所属機関の確認を要件とするアクセス制御を備えた公開ランクイングを実装した。
• データ品質の問題（例：ラベル誤り、重複エントリ）を報告するための連絡フォームを提供し、データセットの整合性を保証した。

実験結果

リサーチクエスチョン

• RQ1 最先端の著者特定モデルは、文学的コーパスではなくダークウェブテキストデータでファインチューニングされた場合、どのように性能を示すか？
• RQ2 標点、専門用語、絵文字などの言語的特徴は、ダークウェブ通信における著者特定に予測的であり、偽の信号として作用する可能性はどの程度か？
• RQ3 文学的テキストとダークウェブフォーラムとの間のドメインシフトが、既存の著者特定モデルの性能にどの程度悪影響を及えるか？
• RQ4 ダークウェブのディスカッションデータで訓練された10者による著者識別モデルは、他のサブレdditに一般化可能か。これは、ドメイン間の頑健性を示唆するか？
• RQ5 攻撃的または不快な内容を含むフォレンジックNLPデータセットを責任を持って公開するにあたり、どのような倫理的セーフティーガードが必要か？

主な発見

• VeriDarkベンチマークには、著者特定のための大規模データセット3つ（Agora、SilkRoad1、DarkReddit+）が含まれており、AgoraとSilkRoad1は同種のデータセットとして、公開済みで最大のものである。
• VeriDarkデータセットでファインチューニングされたBERTベースのモデルは、PAN2020で事前学習されたモデルを上回る性能を示し、著者特定におけるドメインシフトの悪影響を裏付けた。
• VeriDarkデータセットの平均テキスト長はPAN2020よりも顕著に短いが、例の数が多く、低リソースおよびフェイシュート学習のシナリオに適している。
• 定性的な分析から、標点、固有名詞、ドメイン固有の専門用語が、同一著者によるテキスト間で頻繁に共有されていることが判明し、偽相関の可能性を示唆した。
• 著者らは、攻撃的かつ暴力的な言語がデータセットに広く存在することを特定し、倫理的アクセス制御およびデータ利用ポリシーの必要性を強化した。
• GitHub経由でのデータセット公開および、アクセス制限を設けたセキュアなランクイングの導入により、研究の有用性と倫理的責任の両立を図った。