[論文レビュー] PAC learning with stable and private predictions

Yuval Dagan, Vitaly Feldman|arXiv (Cornell University)|Nov 24, 2019

Privacy-Preserving Technologies in Data参考文献 35被引用数 6

ひとこと要約

本稿では、一様安定性および微分プライバシーを満たす予測を実現する新しいアルゴリズムを提示し、標準的な平均化手法を上回るサンプル複雑度の低減を達成する。一様安定性の場合は $\widetilde{O}(d/(α\gamma) + d/\alpha^2)$、微分プライバシーの場合は $\widetilde{O}(d/(α^2\varepsilon) + d^2/(α\varepsilon) + d/\alpha^2)$ のタイトな境界を達成し、先行研究を著しく上回る。

ABSTRACT

We study binary classification algorithms for which the prediction on any point is not too sensitive to individual examples in the dataset. Specifically, we consider the notions of uniform stability (Bousquet and Elisseeff, 2001) and prediction privacy (Dwork and Feldman, 2018). Previous work on these notions shows how they can be achieved in the standard PAC model via simple aggregation of models trained on disjoint subsets of data. Unfortunately, this approach leads to a significant overhead in terms of sample complexity. Here we demonstrate several general approaches to stable and private prediction that either eliminate or significantly reduce the overhead. Specifically, we demonstrate that for any class $C$ of VC dimension $d$ there exists a $γ$-uniformly stable algorithm for learning $C$ with excess error $α$ using $ ilde O(d/(αγ) + d/α^2)$ samples. We also show that this bound is nearly tight. For $ε$-differentially private prediction we give two new algorithms: one using $ ilde O(d/(α^2ε))$ samples and another one using $ ilde O(d^2/(αε) + d/α^2)$ samples. The best previously known bounds for these problems are $O(d/(α^2γ))$ and $O(d/(α^3ε))$, respectively.

研究の動機と目的

• PAC学習における一様安定性および予測プライバシーを達成するための標準的な平均化手法に起因する高いサンプル複雑度のオーバーヘッドを解消すること。
• 単純な平均化による $k$-fold データ使用ペナルティを回避しつつ、安定かつプライベートな予測を保証する一般化技術の開発。
• アグノスティック設定における一様安定および微分プライバシーを満たすPAC学習のタイトなサンプル複雑度境界の確立。
• 安定性とプライバシーの計算的・統計的トレードオフ、特に経験的リスク最小化との比較を調査すること。
• 微分プライバシー予測のための上界と下界のギャップを埋めるという未解決問題、および効率的な計算可能なアルゴリズムの設計の特定。

提案手法

• 単純な平均化を越える高度なサンプリングおよびアグリゲーション技術を用いた、安定かつプライベートな予測アルゴリズムを構築する一般フレームワークの提案。
• 微分プライバシーを保ちつつ低過剰誤差を達成するため、指数分布法を活用するが、計算コストが高くなる。
• 矛盾を導くために、十分なデータがなければ安定なアルゴリズムが存在しないと仮定し、測度の変更と三角不等式を用いてサンプル複雑度の下界を導出する。
• [BNS15] の技術を用いて実現的からアグノスティックPAC学習への還元を適用し、結果をアグノスティック設定に拡張する。
• ラベルを反転させることで個々のデータポイントに対する予測の感度を分析し、安定性パrameterを介して予測の期待変化をバウンドする。
• サイズ $d$ のドメイン上で確率的ラベル付けスキームを導入し、安定なアルゴリズムの限界を露呈するハードな分布を構築する。

実験結果

リサーチクエスチョン

• RQ1 標準的な平均化手法に起因する $k$-fold サンプルオーバーヘッドを回避しつつ、一様安定性または予測プライバシーを満たすPAC学習アルゴリズムを設計可能か？
• RQ2 VC次元 $d$ の任意の概念クラスに対して、$\gamma$-一様安定性を満たすアグノスティックPAC学習の最適サンプル複雑度は何か？また、過剰なデータ使用を伴わずに達成可能か？
• RQ3 アグノスティックPACモデルにおける $\varepsilon$-微分プライベート予測のためのタイトなサンプル複雑度の上限は何か？
• RQ4 プライベート／安定学習の計算コストは、標準的な経験的リスク最小化と比べてどの程度か？
• RQ5 長尾分布にさらされたデータに対して、安定かつプライベートなアルゴリズムはどの程度非効率になるか？

主な発見

• VC次元 $d$ の任意の概念クラスに対して、過剰誤差 $\alpha$ を満たす $\gamma$-一様安定PAC学習アルゴリズムが存在し、$\widetilde{O}(d/(α\gamma) + d/\alpha^2)$ のサンプル数で実現可能であり、この境界はほぼタイトである。
• 本稿では、$\gamma$-一様安定学習のサンプル複雑度に下界 $\Omega((d-1)/(8\gamma\alpha))$ を確立し、上界の最適性が対数的要因を除いて確認された。
• 微分プライバシー予測のための2つのアルゴリズムを提示：1つは $\widetilde{O}(d/(α^2\varepsilon))$ のサンプル数、もう1つは $\widetilde{O}(d^2/(α\varepsilon) + d/\alpha^2)$ のサンプル数。これらは先行研究の最良境界 $O(d/(α^3\varepsilon))$ を上回る。
• 微分プライバシー予測の上界は $\widetilde{O}(\min\{d/(α^2\varepsilon), d^2/(α\varepsilon)\} + d/\alpha^2)$ であり、$\alpha$ および $\varepsilon$ への依存を低減することで、前人を上回る。
• 著者らは、指数分布法を用いることでプライバシーを達成可能であるが、標準的な経験的リスク最小化よりも計算コストが高くなることを示した。
• 微分プライバシー予測の最良既知の上界と下界のギャップは依然として存在し、下界は $\widetilde{\Omega}(d/(ε\alpha) + d/\alpha^2)$、上界は $\widetilde{O}(d/(α^2\varepsilon) + d^2/(α\varepsilon) + d/\alpha^2)$ であり、今後の研究における未解決問題を示している。