[論文レビュー] Anonymity at Risk? Assessing Re-Identification Capabilities of Large Language Models

Alex Nyffenegger, Matthias Stürmer+1 more|arXiv (Cornell University)|Aug 22, 2023

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

本研究では、大規模言語モデル（LLM）の再特定リスクを、匿名化されたスイス連邦最高裁判決およびウィキペディアの記事において評価する。最先端のモデルを用いたプロトタイプフレームワークを用いて実施された。ウィキペディアでは高い成功を収めたが、データの疎らさと複雑さのため、実際の裁判所の判決ではLLMが困難を抱える。しかし、モデルサイズ、入力長、インstructチューニングがパフォーマンスに顕著な影響を与えることが判明し、今後のリスクを示唆しており、匿名化の強化が不可欠である。

ABSTRACT

Anonymity of both natural and legal persons in court rulings is a critical aspect of privacy protection in the European Union and Switzerland. With the advent of LLMs, concerns about large-scale re-identification of anonymized persons are growing. In accordance with the Federal Supreme Court of Switzerland, we explore the potential of LLMs to re-identify individuals in court rulings by constructing a proof-of-concept using actual legal data from the Swiss federal supreme court. Following the initial experiment, we constructed an anonymized Wikipedia dataset as a more rigorous testing ground to further investigate the findings. With the introduction and application of the new task of re-identifying people in texts, we also introduce new metrics to measure performance. We systematically analyze the factors that influence successful re-identifications, identifying model size, input length, and instruction tuning among the most critical determinants. Despite high re-identification rates on Wikipedia, even the best LLMs struggled with court decisions. The complexity is attributed to the lack of test datasets, the necessity for substantial training resources, and data sparsity in the information used for re-identification. In conclusion, this study demonstrates that re-identification using LLMs may not be feasible for now, but as the proof-of-concept on Wikipedia showed, it might become possible in the future. We hope that our system can help enhance the confidence in the security of anonymized decisions, thus leading to the courts being more confident to publish decisions.

研究の動機と目的

• 匿名化されたスイス連邦最高裁判決に記載された個人を大規模言語モデル（LLM）を用いて再特定可能かどうかを評価すること。
• LLMの再特定タスクにおけるパフォーマンスに影響を与える要因（モデルサイズ、入力長、インstructチューニングなど）を調査すること。
• 現在の匿名化手法の耐性を、法的機関と協働して評価可能な、責任あるツールを開発すること。
• スイス連邦最高裁判所と協働して、法的特化型BERTモデルを微調整し、匿名化の再現率を83%から93%に向上させること。
• GDPRおよび類似する規制下で、公開された法的文書におけるプライバシーリスクの進化を、法的機関、プライバシー擁護団体、NLP研究者に啓発すること。

提案手法

• 匿名化されたスイス連邦最高裁判決と、制御されたテストに適したキュレート済みウィキペディアデータセットを用いて、LLMを用いたプロトタイプ再特定システムを構築した。
• 再特定のための新しいタスク定式化を導入し、PNMS（名前一致スコアの適合度）とNLD（正規化されたレーベンシュタイン距離）といった指標を導入してパフォーマンスを測定した。
• GPT-4、LLaMA-2、BLOOM、および法的特化型モデル（例：Legal-Swiss-RobBERTa）を含む、25以上のLLMを、パラメータ数（0.08B～1800B）の異なるサイズで評価した。
• 入力テキストの最初の1,000文字に対して、ビームサーチおよびトップ5予測戦略を用いて、再特定の正確性を評価した。
• スイス法的文書（Swissdox）を事前学習データとして用いて、法的特化型モデルを訓練し、匿名化の再現率を83%から93%に向上させた。
• アブレーションスタディを実施し、モデルサイズ、入力長、インstructチューニングの各要因が再特定成功に与える影響を分離して分析した。

Figure 1: Re-identification rate by parameter count

実験結果

リサーチクエスチョン

• RQ1 RQ1: 異なるLLMは、ウィキペディアのページおよびスイス連邦最高裁判決において、マスクされた人物をどの程度効果的に再特定できるか？
• RQ2 RQ2: LLMの再特定タスクにおけるパフォーマンスに影響を与える主な要因は何か？
• RQ3 RQ3: 進化を続けるLLMの能力とその再特定用途の活用は、スイスにおける匿名化された裁判所判決のプライバシー保護にどのような影響を与えるか？

主な発見

• ウィキペディアデータセットでは、最高性能を示したLLM（例：GPT-4）がPNMS 0.71を達成し、キュレート済みで情報量の多いテキストにおいて強い再特定能力を示した。
• 実際の裁判所判決では、最も優れたモデル（例：GPT-4）でもPNMSは0.71にとどまり、NLDが0.17と顕著に高く、真の名前との一致が著しく不完全であることが示された。
• モデルサイズ、入力長、インstructチューニングが、再特定成功に最も影響を与える要因と特定され、より大きなモデルおよびインstructチューニング済みモデルが顕著に優れたパフォーマンスを示した。
• 最高性能モデル（GPT-4）は、ウィキペディアではW-PNMS 0.65を達成したが、裁判所判決ではわずか0.14にとどまり、データの疎らさと複雑さに起因するパフォーマンスの格差が顕著に現れた。
• 関連ニュース記事の高品質なキュレーション済みセットが提供された場合にのみ、モデルは匿名化された被告の再特定に成功した。これは、外部コンテキストが再特定に果たす役割を強調している。
• 本研究は、現在のLLMが匿名化された裁判所判決における個人の再特定にはまだ十分に効果的でないものの、リスクはゼロではなく、モデルの進化とより良いデータ統合が進むにつれてリスクが増大する可能性があることを示している。

Figure 2: Categorized predictions for rulings