[論文レビュー] The Large Margin Mechanism for Differentially Private Maximization

Kamalika Chaudhuri, Daniel Hsu+1 more|arXiv (Cornell University)|Sep 7, 2014

Privacy-Preserving Technologies in Data参考文献 12被引用数 20

ひとこと要約

この論文は、離散的ユニバース上でデータに依存する関数を最大化するための、新たな微分プライバシー手法であるLarge Margin Mechanism (LMM)を提案する。トップ値と2番目の最高値の間の大きなマージンを活用することで、LMMは範囲に依存しない性能を達成する——誤差はユニバース全体のサイズに依存するのではなく、近似最大化アイテム数ℓの対数に依存する。同時に、近似的な微分プライバシーを保証する。これは、プライベート最大化における、一般用途で範囲に依存しないソリューションとしての初の手法である。

ABSTRACT

A basic problem in the design of privacy-preserving algorithms is the private maximization problem: the goal is to pick an item from a universe that (approximately) maximizes a data-dependent function, all under the constraint of differential privacy. This problem has been used as a sub-routine in many privacy-preserving algorithms for statistics and machine-learning. Previous algorithms for this problem are either range-dependent---i.e., their utility diminishes with the size of the universe---or only apply to very restricted function classes. This work provides the first general-purpose, range-independent algorithm for private maximization that guarantees approximate differential privacy. Its applicability is demonstrated on two fundamental tasks in data mining and machine learning.

研究の動機と目的

• 離散的ユニバース上でデータに依存する関数を最大化するための、微分プライバシーを満たすアルゴリズムを設計するという根本的課題に取り組む。
• 明確な最適解が存在する場合でさえも、ユニバースサイズの増大に伴い性能が低下するという、従来手法の根本的限界（範囲依存性）を克服する。
• 目的関数に制限的な仮定を必要とせず、近似的な微分プライバシーを保証する一般用途のアルゴリズムを開発する。
• 私的PAC学習や頻出アイテムセットマイニングといった、機械学習およびデータマイニングのコアタスクへの適用を示す。
• 近似的な微分プライバシー下で、近似最大化アイテム数の増加に伴い性能が劣化することを示す下界を確立することで、理論的限界を特定する。

提案手法

• まず、最大値からのマージン内にあるアイテム数ℓを、微分プライバシーを満たすカウントによって推定する。
• 全ユニバースではなく、目的関数f(i,D)の上位ℓ個の値を持つアイテム集合に対してのみ、指数型メカニズムを適用する。
• ℓ番目の値と(ℓ+1)番目の値の間のマージンγの存在を活用し、縮小された集合上で指数型メカニズムが近似的な微分プライバシーを保つことを保証する。
• 感度を有界に保ちつつ性能を向上させるために、切り捨てられた指数型メカニズムを用い、ノイズをマージンと近似最大化アイテム数に合わせて調整する。
• やや弱い条件下で、(ε,δ)-微分プライバシーを満たすことを証明し、性能がユニバースサイズKではなくℓの対数に依存することを示す。
• 目的関数のマージン構造とプライバシー・性能保証を結びつける、新しい分析フレームワークを導入する。

実験結果

リサーチクエスチョン

• RQ1 ユニバースサイズKに依存しない一般用途の微分プライバシー最適化アルゴリズムを設計することは可能か？
• RQ2 目的関数fに制限的な条件を課さずに、私的最適化における範囲独立性を達成することは可能か？
• RQ3 複数の近似最大化アイテムが存在する場合、私的最適化におけるプライバシーと性能の根本的トレードオフは何か？
• RQ4 トップ関数値間の大きなマージンを活用することで、プライバシーを維持しつつ性能を向上させることは可能か？
• RQ5 近似的な微分プライバシー下での私的最適化の情報理論的限界は何か？

主な発見

• Large Margin Mechanismは、(1/n)-リプシッツ連続性という条件を除き、目的関数fにあらゆる仮定を必要とせず、(ε,δ)-微分プライバシーを満たす。
• LMMの性能は、ユニバースサイズKに線形的または多項式的に依存するのではなく、近似最大化アイテム数ℓの対数に依存するため、真の範囲独立性を達成する。
• 下界の証明により、任意の(ε,δ)-微分プライバシー最適化アルゴリズムは、ℓの増加に伴い性能が劣化する必要があることが示され、LMMの依存関係が対数的要因を除いて最適であることが証明される。
• LMMは、近似的な微分プライバシーと範囲に依存しない性能を同時に満たす、私的最適化における最初の一般用途のアルゴリズムである。
• 私的PAC学習では、|H|の代わりに|H(t*)|の対数を用いることで一般化誤差の境界を改善し、有意に高いサンプル効率を達成する。ここでH(t*)はマージン内にある仮説の縮小された集合である。
• 頻出アイテムセットマイニングでは、LMMが、近似的な微分プライバシーとユニバースサイズに依存しない性能を両立する最初のアルゴリズムを提供する。