[論文レビュー] Trade-offs and Guarantees of Adversarial Representation Learning for Information Obfuscation

Han Zhao, Jianfeng Chi+2 more|arXiv (Cornell University)|Jun 19, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用数 6

ひとこと要約

本稿では、タスクの精度を最大化すると同時に、機微な属性の情報漏洩を最小化するためのミニマックス最適化フレームワークを提案する。最悪ケースの推論誤差における情報理論的下界を確立し、精度と隠蔽の間の根本的トレードオフを証明した。また、最先端の手法と比較して、敵対的学習が最良のトレードオフを達成することを実証的に示した。

ABSTRACT

Crowdsourced data used in machine learning services might carry sensitive information about attributes that users do not want to share. Various methods have been proposed to minimize the potential information leakage of sensitive attributes while maximizing the task accuracy. However, little is known about the theory behind these methods. In light of this gap, we develop a novel theoretical framework for attribute obfuscation. Under our framework, we propose a minimax optimization formulation to protect the given attribute and analyze its inference guarantees against worst-case adversaries. Meanwhile, it is clear that in general there is a tension between minimizing information leakage and maximizing task accuracy. To understand this, we prove an information-theoretic lower bound to precisely characterize the fundamental trade-off between accuracy and information leakage. We conduct experiments on two real-world datasets to corroborate the inference guarantees and validate this trade-off. Our results indicate that, among several alternatives, the adversarial learning approach achieves the best trade-off in terms of attribute obfuscation and accuracy maximization.

研究の動機と目的

• 機械学習における属性隠蔽手法の背後にある理論的理解の不足に取り組むこと。
• 属性推論攻撃を形式化し、最悪の敵対者を想定した条件下で属性隠蔽を表現学習問題として定式化すること。
• タスクの精度と情報漏洩の保護の両立を図るミニマックス最適化定式化を確立すること。
• 推論誤差における情報理論的下界を導出し、精度と隠蔽の間の根本的トレードオフを特徴づけること。
• 理論的保証の実証的妥当性を検証し、他の最先端の隠蔽手法と敵対的学習を比較すること。

提案手法

• 表現学習者が、機微な属性を推論しようとする最悪の敵対者と競い合うミニマックス最適化問題として属性隠蔽を定式化すること。
• 表現学習を用いて、元のデータをタスクに有用な情報を保持しつつ、機微な属性との相互情報量を最小化する潜在空間に写像すること。
• 任意の敵対者の最悪ケース誤差を制限することで、形式的な推論保証を提供する理論的フレームワークを導入すること。
• 推論誤差における情報理論的下界を証明し、精度と隠蔽の間の本質的トレードオフを定量化すること。
• 敵対的学習を用いて、機微な属性の推論成功率を最小化するように深層ニューラルネットワークを設計・訓練すること。
• 複数のベースライン（敵対的学習、オートエンコーダ、変分推論に基づく手法を含む）を用いて、2つの実世界データセット上でアプローチを検証すること。

実験結果

リサーチクエスチョン

• RQ1 属性隠蔽のための表現学習において、タスクの精度と情報漏洩の間の根本的トレードオフは何か？
• RQ2 敵対的学習下で、属性隠蔽に対して形式的かつ最悪ケースの推論保証を提供できるか？
• RQ3 敵対的表現学習は、他の最先端の手法と比較して、精度と隠蔽のバランスをどのように凌駆するか？
• RQ4 任意の敵対者に対して、保護された属性の推論誤差に存在する理論的限界は何か？
• RQ5 提案されたミニマックスフレームワークは、実世界の設定において実用的な改善をもたらすか？

主な発見

• 提案されたミニマックス定式化は、形式的な最悪ケース推論保証を提供し、任意の敵対者が機微な属性を推論する際に、少なくともあるレベルの誤差を避けられないことを保証する。
• 精度と隠蔽の間の根本的トレードオフを正確に特徴づける情報理論的下界が導出され、完全な隠蔽と高い精度を同時に達成することは不可能であることが示された。
• 2つの実世界データセットにおける実証的結果は、理論的推論保証を確認するとともに、敵対的表現学習が精度と属性隠蔽の間で最良のトレードオフを達成することを示した。
• 評価された手法の中で、敵対的学習は、オートエンコーダーや変分推論と比較して、情報漏洩を最小限に抑えつつタスクパフォーマンスを維持する点で一貫して優れていた。
• フレームワークは、単に機微な属性を削除するのでは不十分であることが判明した。これは、データ内に残存する相関関係のためであり、表現レベルでの隠蔽の必要性を裏付けた。
• 結果から、敵対的表現学習はプライバシー保護型機械学習システムにおける実用的導入の有望なアプローチであると示唆された。