[論文レビュー] Learning with Differential Privacy: Stability, Learnability and the Sufficiency and Necessity of ERM Principle

Yu-Xiang Wang, Jing Lei+1 more|arXiv (Cornell University)|Feb 23, 2015

Privacy-Preserving Technologies in Data参考文献 27被引用数 56

ひとこと要約

本稿は、微分プライバシーの下で学習問題がプライベートに学習可能であるための必要十分条件として、経験リスクを漸近的に最小化する（AERM）微分プライバシーを満たすアルゴリズムが存在することを確立している。AERMは非プライベート学習では不十分であるが、プライベート学習では必要かつ十分であり、一貫性のあるプライベート学習アルゴリズムの普遍的構築を可能にし、最適収束率を達成する広範な問題クラスにおけるプライベート学習の一般枠組みを提供する。

ABSTRACT

While machine learning has proven to be a powerful data-driven solution to many real-life problems, its use in sensitive domains has been limited due to privacy concerns. A popular approach known as **differential privacy** offers provable privacy guarantees, but it is often observed in practice that it could substantially hamper learning accuracy. In this paper we study the learnability (whether a problem can be learned by any algorithm) under Vapnik's general learning setting with differential privacy constraint, and reveal some intricate relationships between privacy, stability and learnability. In particular, we show that a problem is privately learnable **if an only if** there is a private algorithm that asymptotically minimizes the empirical risk (AERM). In contrast, for non-private learning AERM alone is not sufficient for learnability. This result suggests that when searching for private learning algorithms, we can restrict the search to algorithms that are AERM. In light of this, we propose a conceptual procedure that always finds a universally consistent algorithm whenever the problem is learnable under privacy constraint. We also propose a generic and practical algorithm and show that under very general conditions it privately learns a wide class of learning problems. Lastly, we extend some of the results to the more practical $(ε,δ)$-differential privacy and establish the existence of a phase-transition on the class of problems that are approximately privately learnable with respect to how small $δ$ needs to be.

研究の動機と目的

• 微分プライバシーの下でVapnikの一般学習枠組みにおいて、プライベートに学習可能な学習問題の集合を特徴づけること。
• AERMの原則がプライベート学習可能性において必要かつ十分であることを確立し、非プライベート設定とは異なり、AERMのみでは学習可能とは限らないことの違いを明確にすること。
• 問題がプライベートに学習可能である限り、常に動作する汎用的かつ普遍的一貫性のあるプライベート学習アルゴリズムを構築すること。
• $(\epsilon,\delta)$-微分プライバシーへの拡張を行い、$\delta$ に依存する学習可能性のフェーズ遷移を同定すること。

提案手法

• 微分プライバシーがアルゴリズム的安定性を意味することを証明し、それが経験リスク最小化の一致性を示すこと。
• 新しい安定性の議論を用いて、私的アルゴリズムの一致性がAERMである必要があることを示し、必要性を確立する。
• 私的学習可能性が成立する場合に普遍的一貫性を保証するAERMに基づく概念的プライベート学習アルゴリズムを構築する。
• 指数的メカニズムと凸最適化を用いた実用的アルゴリズムを提案し、凸問題における効率的なプライベート学習を実現する。
• Dworkら（2015b）の結果を応用して高確率一般化バウンドを導出し、$n$ に関する追加仮定なしにプライバシーと一般化の関係を結ぶ。
• $(\epsilon,\delta)$-微分プライバシーにおけるフェーズ遷移を分析し、学習可能性が$\delta$ がどれほど小さいかに強く依存することを示す。

実験結果

リサーチクエスチョン

• RQ1 一般学習設定下で、微分プライバシーの下で学習問題がプライベートに学習可能であるための必要十分条件は何か？
• RQ2 なぜAERMはプライベート学習可能性には十分であるが、非プライベート学習では十分でないのか？
• RQ3 任意のプライベートに学習可能な問題に対して、AERMに基づく普遍的かつ一貫性のあるプライベート学習アルゴリズムを構築できるか？
• RQ4 $(\epsilon,\delta)$-微分プライバシー下で$\delta$ の選択が問題の学習可能性にどのように影響するか？
• RQ5 プライベート学習アルゴリズムが達成可能な最適収束レートは何か？ また、非プライベート法や非最適なプライベート手法と比較してどうなるか？

主な発見

• 学習問題がプライベートに学習可能であるための必要十分条件は、経験リスクを漸近的に最小化する（AERM）微分プライバシーを満たすアルゴリズムが存在することである。
• AERMの原則はプライベート学習可能性において必要かつ十分であり、非プライベート学習とは異なり、AERMのみでは学習可能とは限らないという重要な違いを示している。
• 問題がプライベートに学習可能である限り、普遍的かつ一貫性のあるプライベート学習アルゴリズムを構築可能であり、汎用ソリューションを提供する。
• 本稿では$(\epsilon,\delta)$-微分プライバシーにおけるフェーズ遷移を確立した：問題は$\delta$ が十分に小さくなる場合にのみ、近似的にプライベートに学習可能であり、その閾値は問題クラスに依存する鋭い遷移を示す。
• 高次の損失関数を伴う平均推定のような単純な問題では、提案手法が$O(n^{-9/10})$ のレートを達成し、誤差の緩い境界により得られる$\tilde{O}(n^{-1/2})$ よりも優れている。
• 証明技法は$n$ に関する仮定を避け、特に高速収束する設定において、従来の高確率一般化バウンドに依存する手法よりも収束レートを厳密に保証する。