[論文レビュー] Using Neural Generative Models to Release Synthetic Twitter Corpora with Reduced Stylometric Identifiability of Users

Alexander G. Ororbia, Fridolin Linder+1 more|arXiv (Cornell University)|Jun 3, 2016

Authorship Attribution and Profiling被引用数 3

ひとこと要約

本稿では、ユーザー固有の単語分布を保持しながらスタイルメトリクスによる再特定リスクを低減する神経的生成モデルを提案する。個々のユーザーを条件付きに入力し、温度ハイパーパrameterを調整することで、削除や反復翻訳に比べて優れたリスク・ユーティリティのトレードオフを達成し、再特定リスクを著しく低減しつつ、ユーティリティの損失を最小限に抑える。

ABSTRACT

We present a method for generating synthetic versions of Twitter data using neural generative models. The goal is protecting individuals in the source data from stylometric re-identification attacks while still releasing data that carries research value. Specifically, we generate tweet corpora that maintain user-level word distributions by augmenting the neural language models with user-specific components. We compare our approach to two standard text data protection methods: redaction and iterative translation. We evaluate the three methods on measures of risk and utility. We define risk following the stylometric models of re-identification, and we define utility based on two general word distribution measures and two common text analysis research tasks. We find that neural models are able to significantly lower risk over previous methods with little cost to utility. We also demonstrate that the neural models allow data providers to actively control the risk-utility trade-off through model tuning parameters. This work presents promising results for a new tool addressing the problem of privacy for free text and sharing social media data in a way that respects privacy and is ethically responsible.

研究の動機と目的

• ユーザーがコンテンツを削除する、あるいは「忘れられる権利」を求めるなど、ソーシャルメディアデータの公開に伴う倫理的・プライバシー的課題に対処すること。
• 共有されたTwitterコーパスにおけるユーザーのスタイルメトリクスによる再特定リスクを、分析的ユーティリティを損なわずに低減すること。
• 赤色化や翻訳といった粗い手法とは異なり、モデルのハイパーパrameterを通じてプライバシーを調整可能な柔軟でデータ駆動型の手法を開発すること。
• リスクとユーティリティの両方の指標を用いて、標準的なプライバシー保護手法と比較して、実証的に評価すること。

提案手法

• 個々のユーザーの言語特徴を条件付きに入力することで、ユーザー固有の単語分布を保持するように学習された、新規の神経的アーキテクチャ「Delta-RNN」を提案する。
• 出力分布におけるノイズレベルを制御するための温度パラメータを用い、リスク・ユーティリティのトレードオフを直接調整可能にする。
• ユーザー埋め込みを再帰的ネットワークアーキテクチャに組み込むことで、ユーザー固有の条件付けを実装し、パーソナライズドな生成を可能にする。
• ユーザー固有のツイートコーパスで事前学習された言語モデルを用いて、文字レベルのシーケンスを生成することで、言語的整合性を確保する。
• スタイルメトリクスによる再特定リスクと単語分布類似度を主な評価指標として、削除や反復翻訳と比較する。
• 温度ハイパーパrameterを体系的に変化させ、リスク（再特定精度）とユーティリティ（分布類似度およびタスク性能）に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 神経的生成モデルは、ユーザーの言語的パターンを保持しつつ、合成されたTwitterコーパスにおけるスタイルメトリクスによる再特定リスクを効果的に低減できるか？
• RQ2 赤色化や反復翻訳といった従来の手法と比較して、神経的生成のリスク・ユーティリティトレードオフはどのように異なるか？
• RQ3 温度ハイパーパrameterを用いて、プライバシーとデータユーティリティのバランスを能動的に調整できる程度はどの程度か？
• RQ4 神経モデルは、一般的なNLPタスクにおいて、元のデータの分布的およびタスク固有のユーティリティを保持できるか？
• RQ5 本手法は、複数のスタイルメトリクス攻撃モデルや特徴量セットに対してどの程度頑健か？

主な発見

• 神経モデルは再特定リスクを顕著に低減し、最適な温度設定では10％未満のリスクにまで低下するのに対し、赤色化では50％を超えるリスクを示した。
• Delta-RNNモデルは、全評価指標において赤色化や翻訳を上回り、最良のリスク・ユーティリティトレードオフを達成した。
• 低い温度値は、希少で特定性の高い単語の抑制によりリスクを低減するが、分布類似度の低下によりユーティリティも低下させる。
• 温度パラメータにより、赤色化や翻訳にはない、調整可能なプライバシーのスイッチを明確に制御可能である。
• 感情分類やn-gram類似度のタスクにおいて、低温度設定下でも神経モデルは高いユーティリティを維持し、性能劣化は最小限に抑えられた。
• 複数のスタイルメトリクス攻撃モデルにわたる性能の安定性から、本手法が多様な再特定シナリオにおいても有効であることが裏付けられた。