[論文レビュー] Generalised Differential Privacy for Text Document Processing

Natasha Fernandes, Mark Dras+1 more|arXiv (Cornell University)|Nov 26, 2018

Authorship Attribution and Profiling参考文献 4被引用数 4

ひとこと要約

本稿では、文書の意味的コンテンツを保持しながら著者情報をマスキングする一般化された微分プライバシー機構を提案する。地球移動距離（EMD）を類似度指標として用い、bag-of-words表現にラプラスノイズを適用することで、トピック分類の文脈で強い実用性を示す、形式的なプライバシー保証を達成する。実際のファンフィクションデータセットを用いた検証が行われた。

ABSTRACT

We address the problem of how to "obfuscate" texts by removing stylistic clues which can identify authorship, whilst preserving (as much as possible) the content of the text. In this paper we combine ideas from "generalised differential privacy" and machine learning techniques for text processing to model privacy for text documents. We define a privacy mechanism that operates at the level of text documents represented as "bags-of-words" - these representations are typical in machine learning and contain sufficient information to carry out many kinds of classification tasks including topic identification and authorship attribution (of the original documents). We show that our mechanism satisfies privacy with respect to a metric for semantic similarity, thereby providing a balance between utility, defined by the semantic content of texts, with the obfuscation of stylistic clues. We demonstrate our implementation on a "fan fiction" dataset, confirming that it is indeed possible to disguise writing style effectively whilst preserving enough information and variation for accurate content classification tasks.

研究の動機と目的

• 文書の著者情報のぼかしを実現する一方で、内容の実用的価値を維持する課題に取り組む。
• 一般化された微分プライバシーを用いて、著者特定の推論に対して形式的なプライバシー保証を提供する。
• トピック分類の精度（意味的実用性）とスタイルのぼかし（著者匿名性）の両立を図る。
• 地球移動距離を用いた類似度指標により、非構造化テキストデータへの $d_{\mathcal{X}}$-プライバシーの拡張を試みる。
• 実世界のテキストデータ（例：ファンフィクション）に対して、この機構の実現可能性と有効性を示す。

提案手法

• 本手法は、文書を語彙頻度を保持するが語順を無視するbag-of-words表現としてモデル化する。
• 語彙頻度を摂動させるために、ラプラス確率密度関数に基づくノイズ機構を適用する。
• ノイズのスケールは、文書間の意味的類似度を測る指標として地球移動距離（EMD）を用いて調整される。
• 類似したトピックを持つ文書（EMDによる測定）は、著者に関係なく類似したノイズ出力を生成するように機構が設計される。
• プライバシーは、EMDを基本距離として用いる指標ベースの微分プライバシーの拡張版である $E_{d_{\mathcal{X}}}$-プライバシーとして形式化される。
• bag-of-wordsの実数値ベクトル表現を対象としてアプローチを実装し、プライバシーと実用性の両性質が満たされることを証明した。

実験結果

リサーチクエスチョン

• RQ1 トピック分類の実用性を保持しつつ、テキスト文書における著者情報のぼかしを効果的に行うプライバシー機構を設計可能か？
• RQ2 意味的類似度指標を用いて、一般化された微分プライバシーを非構造化テキストデータに適応できるか？
• RQ3 地球移動距離を指標として用いることで、テキストのぼかしにおいてプライバシーと実用性の両方が確保される程度はどの程度か？
• RQ4 提案された機構は、構造化データベースにおける微分プライバシーと同等の形式的かつ事前的なプライバシー保証を提供できるか？
• RQ5 プライバシー（$\epsilon$ で制御）と実用性（トピック分類精度）のトレードオフは、実際の応用でどのように現れるか？

主な発見

• 提案された機構は、ぼかし処理後でもトピック分類の精度を著しく保持しており、実用性の高い性能を示した。
• ぼかし機構を適用した後、著者特定の精度が著しく低下した。これは、スタイルのマスキングが効果的に行われたことを確認するものである。
• 地球移動距離を用いた $E_{d_{\mathcal{X}}}$-プライバシーを満たしており、形式的なプライバシー保証が得られた。
• EMD指標でスケーリングされたラプラスノイズの使用により、類似トピックの文書は、元の著者に関係なく類似したノイズ出力を生成する。
• ファンフィクションデータセットを用いた実験的評価により、プライバシーと実用性の両立が達成されており、プライバシー係数 $\epsilon$ によって制御可能な明確なトレードオフが観察された。
• 結果から、ぼかし処理後のbag-of-words出力から読み取り可能なテキストへの再構築が可能である可能性が示唆され、人間が読めるプライベート文書への道筋が開かれた。