[論文レビュー] Efficient Private Algorithms for Learning Large-Margin Halfspaces

Huy L. Nguyên, Jonathan Ullman+1 more|arXiv (Cornell University)|Feb 24, 2019

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、標本複雑性が次元 d に依存せず、マージン γ、プライバシー ε、精度 α のみに依存する、大マージン半空間を学習するための微分プライバシー付きアルゴリズムを提示する。O(1/αεγ²) の複雑性を達成し、次元 d とは無関係である。アプローチは、次元を O(1/γ²) に削減するためのランダムプロジェクションを用い、その後にプライベートなヘッジ損失最小化または指数機構を適用する。マージン依存性の最適性を示す一致する下界が、最適性を証明する。

ABSTRACT

We present new differentially private algorithms for learning a large-margin halfspace. In contrast to previous algorithms, which are based on either differentially private simulations of the statistical query model or on private convex optimization, the sample complexity of our algorithms depends only on the margin of the data, and not on the dimension. We complement our results with a lower bound, showing that the dependence of our upper bounds on the margin is optimal.

研究の動機と目的

• データ次元 d に依存しない標本複雑性を有する、大マージン半空間のための微分プライバシー付き学習アルゴリズムの設計。
• プライベートな凸最適化や統計的クエリシミュレーションに基づく従来のプライベートアルゴリズムの次元依存の標本複雑性を克服すること。
• マージン γ における依存性が最適であることを示し、次元ではなくマージンが主要要因であることを明らかにすること。
• 上界におけるマージン依存性が情報理論的に最適であることを示す一致する下界を証明すること。
• 2つのアルゴリズムを提供する：1つは多項式時間で動作し、(ε,δ)-DP を満たす。もう1つは指数時間だが純粋な (ε,0)-DP を満たす。

提案手法

• アンビエント次元 d を O(1/γ²) に削減するためのランダムプロジェクションを用い、マージン構造を保存する。
• 射影されたデータ上でヘッジ損失を最小化するプライベートなアルゴリズムを適用し、半空間を学習する。
• 代替的に、射影空間内の半空間のネットワーク上で指数機構を用い、プライベートで正確な分類器を選択する。
• 射影空間における感度解析と慎重なノイズ追加によりプライバシーを保証する。
• 測度の集中を活用し、射影されたベクトルが意思決定境界付近に位置する確率を制限する。
• 硬い区別が困難な半空間（ハミング距離が大きい）の構成を用いて下界を証明し、純粋な DP に対しては Ω(1/εγ²) の標本複雑性が必要であることを示す。

実験結果

リサーチクエスチョン

• RQ1 大マージン半空間の微分プライバシー付き学習は、次元 d に依存しない標本複雑性で達成可能か？
• RQ2 プライベート半空間学習における標本複雑性におけるマージン γ 依存性は最適か？
• RQ3 純粋な微分プライバシー (ε,0)-DP を達成でき、非プライベートの境界にプライバシーのオーバーヘッドを加えて一致する標本複雑性を達成できるか？
• RQ4 プライベート半空間学習における、プライバシー、正確性、次元の間の根本的トレードオフは何か？
• RQ5 ランダムプロジェクションは、プライバシーと一般化を保ちながら次元削減に用いることができるか？

主な発見

• 提案されたアルゴリズムは、標本複雑性 O(1/αεγ²) を達成し、これはマージン γ、プライバシー ε、精度 α のみに依存し、データ次元 d とは無関係である。
• 最初のアルゴリズムは多項式時間で動作し、同じ標本複雑性で (ε,δ)-微分プライバシーを満たす。
• 2番目のアルゴリズムは純粋な (ε,0)-微分プライバシーを達成するが、1/γ² に対して指数時間の実行時間となるため、プライバシーの強度と効率のトレードオフが明らかになる。
• 下界により、任意の (ε,0)-微分プライバシー付き半空間学習アルゴリズムが Ω(1/εγ²) 個のサンプルを必要とすることが証明され、上界と定数倍の違いを除いて一致する。
• ランダムプロジェクションの使用は本質的である：高次元で直接プライベートなヘッジ損失最小化や指数機構を適用すると、多項式時間の d に依存する標本複雑性が必要になる。
• 結果として、プライベート半空間学習における正しい複雑性パラメータは次元ではなくマージンであり、マージンが大きい場合にはプライバシーのオーバーヘッドが最小限に抑えられることを示している。