[論文レビュー] Differentially Private Online Learning

Prateek Jain, Pravesh K. Kothari+1 more|arXiv (Cornell University)|Sep 1, 2011

Privacy-Preserving Technologies in Data参考文献 26被引用数 17

ひとこと要約

本稿では、オンライン凸プログラミング（OCP）設定において、異なるプライバシー保護付きオンライン学習を達成する一般枠組みを提示する。非プライベートなOCPアルゴリズムを、サブ線形なリグレットを達成するプライベート版に変換する。IGDおよびGIGAアルゴリズムのプライベート版を導入し、$ ilde{O}(ackslash ext{sqrt}ackslash{T})$ のリグレットを達成する。また、二次的コスト関数に対しては $O(ackslash ext{log}^{1.5}T)$ のリグレットを達成する特殊なアルゴリズムを提案し、さらにこのアプローチをオフライン学習に拡張し、誤差バウンドを改善する。

ABSTRACT

In this paper, we consider the problem of preserving privacy in the online learning setting. We study the problem in the online convex programming (OCP) framework---a popular online learning setting with several interesting theoretical and practical implications---while using differential privacy as the formal privacy measure. For this problem, we distill two critical attributes that a private OCP algorithm should have in order to provide reasonable privacy as well as utility guarantees: 1) linearly decreasing sensitivity, i.e., as new data points arrive their effect on the learning model decreases, 2) sub-linear regret bound---regret bound is a popular goodness/utility measure of an online learning algorithm. Given an OCP algorithm that satisfies these two conditions, we provide a general framework to convert the given algorithm into a privacy preserving OCP algorithm with good (sub-linear) regret. We then illustrate our approach by converting two popular online learning algorithms into their differentially private variants while guaranteeing sub-linear regret ($O(\sqrt{T})$). Next, we consider the special case of online linear regression problems, a practically important class of online learning problems, for which we generalize an approach by Dwork et al. to provide a differentially private algorithm with just $O(\log^{1.5} T)$ regret. Finally, we show that our online learning framework can be used to provide differentially private algorithms for offline learning as well. For the offline learning problem, our approach obtains better error bounds as well as can handle larger class of problems than the existing state-of-the-art methods Chaudhuri et al.

研究の動機と目的

• リアルタイムのオンライン学習システムが、感覚的データを段階的に処理する際のユーザーのプライバシーを保護する課題に対処すること。
• 任意のOCPアルゴリズムを、強力なユーティリティ保証を維持したまま、プライベート版に変換する一般手法の開発。
• 一般のOCP問題において、$(\epsilon,\delta)$-微分プライバシーのもとでサブ線形リグレット（$\tilde{O}(\sqrt{T})$）を達成すること。
• この枠組みをオフライン学習問題に拡張し、既存の最先端手法よりも誤差バウンドを改善すること。
• 二次的コスト関数のような特別なケースにおいて、対数的リグレットを達成することが可能かどうかを検討すること。

提案手法

• この枠組みは、2つの重要な性質に依存する：時間の経過とともにデータポイントの感度が線形に減少すること、および元のアルゴリズムにおけるサブ線形リグレットバウンド。
• 各時刻で$(\epsilon,\delta)$-微分プライバシーを保証するために、感度を厳密に制限した出力ノイズを加える。
• プライベート版のIGDおよびGIGAは、各ステップにおけるアルゴリズム出力の感度に比例したノイズを追加することで構築される。
• 二次的コスト関数に対しては、先行研究を一般化し、プライバシー制約のもとで $O(\log^{1.5}T)$ のリグレットを達成する。
• オフライン学習への応用は、オフライン問題を一連のオンライン更新とみなすことにより実現され、従来の手法よりも良い誤差バウンドが得られる。
• 理論的分析により、モデル更新の感度をバウンドし、ノイズを加えた出力が微分プライバシーを満たすことを証明する。

実験結果

リサーチクエスチョン

• RQ1 非プライベートなOCPアルゴリズムを、強力なリグレット保証を持つプライベート版に変換できる一般枠組みを設計できるか？
• RQ2 オンライン学習におけるプライバシーとユーティリティを両立させるために必要な最小限のアルゴリズム的性質（例：感度の減少、リグレットバウンド）は何か？
• RQ3 一般の強い凸関数に対して、プライベートなオンライン学習のリグレットを $ ilde{O}(\sqrt{T})$ を超えて改善できるか？
• RQ4 二次損失のような特定の関数クラスに対して、プライベートなオンライン学習で対数的リグレットを達成することが可能か？
• RQ5 提案されたオンラインプライベート学習枠組みを、より良い誤差バウンドを達成するオフライン凸学習問題に効果的に拡張できるか？

主な発見

• プライベート版IGDおよびGIGAアルゴリズムは、一般のOCP問題において $\tilde{O}(\sqrt{T})$ のリグレットを達成し、$(\epsilon,\delta)$-微分プライバシーを保証する。
• 二次的コスト関数という特別なケースでは、提案されたアルゴリズムが $O(\log^{1.5}T)$ のリグレットを達成し、一般の $\tilde{O}(\sqrt{T})$ のバウンドを著しく上回る。
• Year Predictionデータセットでは、PQFTLアルゴリズムが高プライバシー水準（$\epsilon = 0.01$）でもリグレットが $10^{-2}$ のオーダーにとどまり、高いユーティリティを示した。
• Forest Cover-typeデータセットでは、PIGDアルゴリズムが $\epsilon = 0.1$ であっても分類精度が58％以上を維持し、プライベートに意味のあるモデルを学習できることを示した。
• この枠組みはオフライン学習に拡張可能であり、より広い凸問題のクラスにおいて、最先端手法[3]よりも良い誤差バウンドを生み出した。
• 実験的結果から、リグレットとモデル精度が $\epsilon$ の減少に従って滑らかに低下することが示され、プライバシーとユーティリティの実用的トレードオフが確認された。