[論文レビュー] SynTF: Synthetic and Differentially Private Term Frequency Vectors for Privacy-Preserving Text Mining

Benjamin Weggenmann, Florian Kerschbaum|arXiv (Cornell University)|May 2, 2018

Spam and Phishing Detection参考文献 38被引用数 16

ひとこと要約

SynTFは、文書マイニングタスクにおける有用性を保ちつつ、著者特定を防止するためのプライバシー保護型の合成語彙頻度ベクトルを生成する微分プライバシー手法を提案する。最適化されたプライバシー境界を用いた指数的メカニズムを適用することで、最小限の分類精度への影響で強力なプライバシー保証（微分プライバシー）を達成し、著者特定が不可能になる。

ABSTRACT

Text mining and information retrieval techniques have been developed to assist us with analyzing, organizing and retrieving documents with the help of computers. In many cases, it is desirable that the authors of such documents remain anonymous: Search logs can reveal sensitive details about a user, critical articles or messages about a company or government might have severe or fatal consequences for a critic, and negative feedback in customer surveys might negatively impact business relations if they are identified. Simply removing personally identifying information from a document is, however, insufficient to protect the writer's identity: Given some reference texts of suspect authors, so-called authorship attribution methods can reidentfy the author from the text itself. One of the most prominent models to represent documents in many common text mining and information retrieval tasks is the vector space model where each document is represented as a vector, typically containing its term frequencies or related quantities. We therefore propose an automated text anonymization approach that produces synthetic term frequency vectors for the input documents that can be used in lieu of the original vectors. We evaluate our method on an exemplary text classification task and demonstrate that it only has a low impact on its accuracy. In contrast, we show that our method strongly affects authorship attribution techniques to the level that they become infeasible with a much stronger decline in accuracy. Other than previous authorship obfuscation methods, our approach is the first that fulfills differential privacy and hence comes with a provable plausible deniability guarantee.

研究の動機と目的

• 個人識別情報（PII）の削除にもかかわらず著者再特定のリスクを軽減すること、特に著者特定技術によるリスクに焦点を当てる。
• PIIの削除に依存せずに、語彙頻度ベクトルというベクトルレベルでテキストを匿名化する手法を開発すること。
• 微分プライバシーを満たすことで、強力なプライバシー保証を実現し、客観的根拠に基づく「ありえぬ主張」（ plausible deniability ）を可能にすること。
• テキスト分類などの下流のテキストマイニングタスクにおいて高い有用性を維持すること。
• 著者特定への耐性と分類精度の両立の有効性を評価すること。

提案手法

• SynTFは、微分プライバシーの核となる技術である指数的メカニズムを用いて、合成語彙頻度ベクトルを生成することでプライバシー保証を実現する。
• 語彙頻度ベクトルの出力空間にプライバシー予算（ε）を適用し、新たな境界導出によりプライバシー損失を約50％削減する。
• 元のベクトルと合成ベクトルの類似度に基づくスコア関数を用いて、最も有用性を保つ合成ベクトルを選択する。
• アプローチはベクトル空間モデル表現の上に直接作用し、元の語彙頻度ベクトルを微分プライバシーを満たす合成ベクトルに置き換える。
• SynTFはデータソースでローカルに適用可能であり、データ収集前にオンプレミスでの匿名化を可能にする。
• 出力ベクトルのスパarsity（スパarsity）を保証することで、メモリ効率と下流タスクのパフォーマンスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを満たす手法が、テキスト分類の有用性を保ちつつ著者特定を防止できる合成語彙頻度ベクトルを生成できるか？
• RQ2 SynTFのプライバシー・ユーティリティトレードオフは、従来のPIIクリーニング手法と比較して、著者特定への耐性においてどのように異なるか？
• RQ3 SynTFが分類タスクで十分な有用性を維持するための必要なプライバシー予算（ε）はどの程度か？
• RQ4 高次元出力空間を持つベクトル空間モデル表現に、指数的メカニズムを効果的に適応できるか？
• RQ5 提案されたプライバシー損失の境界低減は、プライバシーを損なうことなく、有用性を顕著に向上させるか？

主な発見

• SynTFは、出力ベクトルの単語あたりのプライバシー損失がわずか25.4に抑えられ、標準的手法と比較してノイズが著しく低減した。
• 高い有用性を維持し、20 Newsgroupsデータセットにおいて最適パラメータ下でテキスト分類精度の低下は5％未満にとどまった。
• 著者特定技術はSynTFで匿名化されたデータに対して完全に失敗し、正解率はほぼランダムレベル（10％未満）に低下したのに対し、元のデータでは90％を超える精度を示した。
• 従来のPIIクリーニング手法は著者特定を防止できず、クリーニング済みデータに対しても著者特定モデルが高い成功率を示した。
• 指数的メカニズムに向けたプライバシー境界の導出により、プライバシー損失が約50％削減され、プライバシーを損なわずにもっとも有用性が向上した。
• SynTFはオンプレミスでの匿名化を可能にし、個々の著者識別子を露呈せずに機械学習モデルの学習に向けた安全なデータ収集を実現する。