[論文レビュー] Obfuscation via Information Density Estimation

Hsiang Hsu, Shahab Asoodeh+1 more|arXiv (Cornell University)|Oct 17, 2019

Adversarial Robustness in Machine Learning参考文献 58被引用数 6

ひとこと要約

本稿では、新たなトリムド情報密度推定器（TIDE）を用いた情報密度推定により、漏洩する特徴を特定・隠蔽するデータ駆動型フレームワークを提案する。情報密度が閾値を超える特徴に着目し、特徴固有のガウスノイズを適用することで、$Γ}$-発散に基づく証明可能な漏洩制御を実現。画像およびテキストデータセットにおいて、最小限のユーザ定義のユーティリティ制約で強力なプライバシー・ユーティリティトレードオフを示した。

ABSTRACT

Identifying features that leak information about sensitive attributes is a key challenge in the design of information obfuscation mechanisms. In this paper, we propose a framework to identify information-leaking features via information density estimation. Here, features whose information densities exceed a pre-defined threshold are deemed information-leaking features. Once these features are identified, we sequentially pass them through a targeted obfuscation mechanism with a provable leakage guarantee in terms of $\mathsf{E}_γ$-divergence. The core of this mechanism relies on a data-driven estimate of the trimmed information density for which we propose a novel estimator, named the trimmed information density estimator (TIDE). We then use TIDE to implement our mechanism on three real-world datasets. Our approach can be used as a data-driven pipeline for designing obfuscation mechanisms targeting specific features.

研究の動機と目的

• データセット内の機微な情報を漏洩する特徴を体系的かつデータ駆動で同定するための手法を開発すること。
• 機微属性の事前分布と事後分布の間の$Γ}$-発散を測定することで、隠蔽処理に証明可能なプライバシー保証を提供すること。
• 限られたサンプルで高次元の実世界データにおいて、情報密度が無限大に発散する問題を克服し、トリムド情報密度を信頼性高く推定すること。
• 低漏洩特徴には不要なノイズを加えず、高漏洩特徴にのみ焦点を当てた効果的な隠蔽機構を設計し、データのユーティリティを保持すること。
• データ所有者が具体的なプライバシーリスクをもたらす特徴（例：顔の領域、キーワード）を特定・可視化できることで、解釈可能性を提供すること。

提案手法

• フレームワークは、事前に指定された閾値を超える情報密度に基づき、情報漏洩特徴を同定する。
• $f$-発散の変分表現に基づく、TIDE（Trimmed Information Density Estimator）と呼ばれる新しい推定器を採用し、有限サンプルからトリムド情報密度を推定する。
• TIDEは、データ駆動型でニューラルネットワークベースのアーキテクチャを採用し、敵対的最適化により、一貫性とサンプル複雑性の保証を得て、トリムド密度を近似する。
• 漏洩が確認された特徴にのみ、$\mathsf{E}_{\gamma}$-発散が有界となる特徴依存のガウスノイズを適用することで、プライバシー漏洩を最小限に抑えつつユーティリティを維持する。
• 各モダリティに適したニューラルネットワークアーキテクチャを用いて、3つの実世界データセット（GENKI-4K（顔画像）、CelebA（有名人属性）、政治的バイアス付きツイート）で検証した。
• TIDEはデータから情報密度を推定する段階と、漏洩特徴の同定後に隠蔽処理を適用する段階を統合したエンドツーエンドのフレームワークである。

実験結果

リサーチクエスチョン

• RQ1 情報密度推定を用いて、実世界のデータセットにおける機微情報漏洩特徴を体系的に同定できるか？
• RQ2 限られたサンプルで高次元の有限データから、トリムド情報密度を信頼性高く推定できるか？
• RQ3 高漏洩特徴にのみ着目するデータ駆動型隠蔽機構は、最小限のユーティリティ低下で強力なプライバシー保証を達成できるか？
• RQ4 サンプル制約下で、TIDE推定器はプラグイン推定器やカーネル密度推定器と比較して優れているか？
• RQ5 $\mathsf{E}_{\gamma}$-発散は、実用的な隠蔽パイプラインにおけるプライバシー漏洩の定量化に、強固で解釈可能な指標として機能するか？

主な発見

• GENKI-4Kデータセットでは、$I(S,X) = 0.594$ビットにまで情報漏洩が低減され、エントロピー$H(S) = 1$ビットより顕著に低いことが示された。
• CelebAデータセットでは、相互情報量$I(S,X)$が$0.967$ビットに達し、$H(S) = 1$ビットに近く、特に「笑顔」属性に対して高い感受性を示した。本手法は、この特徴を的確に同定・隠蔽した。
• 政治的バイアス付きツイートの実験では、$I(S;X) = 0.645$ビットの測定可能な漏洩が確認され、隠蔽の対象として適切に特定された。
• 合成ガウス分布データでは、TIDEは重み付き平均絶対誤差（WMAE）が0.005〜0.057を達成し、プラグイン推定器（0.466〜1.821）およびカーネル密度推定器（0.252〜1.395）を顕著に上回った。
• TIDE推定器は、高い一貫性とサンプル効率を示し、わずか3,000サンプルでもベースライン手法よりも低いWMAEを達成した。
• 本フレームワークは、特定の特徴（例：顔の領域、キーワード）が漏洩に最も寄与していることを特定することで、解釈可能なプライバシー保護を可能にした。データ所有者は、これにより、より情報に基づいた隠蔽意思決定が可能になった。