[論文レビュー] The Price of Differential Privacy For Online Learning

Naman Agarwal, Karan Singh|arXiv (Cornell University)|Jan 27, 2017

Advanced Bandit Algorithms Research参考文献 15被引用数 24

ひとこと要約

本稿では、フル情報設定およびバンドイット設定の両方において、近似的に最適なリグレットバウンドを達成する、微分プライバシーを満たすオンライン線形最適化のアルゴリズムを提示する。フル情報設定では、微分プライバシーがリグレットに及ぼす影響は定数の加法的コストにとどまり、プライバシー・パラメータ ε ≥ 1/√T の場合、プライバシーは「無料」となる。バンドイット設定では、Õ(√T) のリグレットを達成し、以前の Õ(T²ᐟ³) のバウンドを改善する。

ABSTRACT

We design differentially private algorithms for the problem of online linear optimization in the full information and bandit settings with optimal $ ilde{O}(\sqrt{T})$ regret bounds. In the full-information setting, our results demonstrate that $ε$-differential privacy may be ensured for free -- in particular, the regret bounds scale as $O(\sqrt{T})+ ilde{O}\left(\frac{1}ε ight)$. For bandit linear optimization, and as a special case, for non-stochastic multi-armed bandits, the proposed algorithm achieves a regret of $ ilde{O}\left(\frac{1}ε\sqrt{T} ight)$, while the previously known best regret bound was $ ilde{O}\left(\frac{1}εT^{\frac{2}{3}} ight)$.

研究の動機と目的

• フル情報およびバンドイットフィードバック設定の両方において、近似的に最適なリグレットを達成する微分プライバシー付きオンライン学習アルゴリズムの設計。
• フル情報設定において、ε-微分プライバシーを達成する際に、リグレットの加法的オーバーヘッドが定数にとどまるかどうかという未解決の問題の解消。
• 微分プライバシー付きバンドイット線形最適化の現在の最良のリグレットバウンドを、Õ(T²ᐟ³/ε) から Õ(√T/ε) に改善すること。
• 問題の幾何構造に適応する正則化の適応により、リグレットのコストを最小限に抑えながらプライバシーを達成できることの実証。
• バンドイット設定において、Õ(√T) のリグレットを保持するとともに、ε-微分プライバシーを保証する一般化された還元技術の提供。

提案手法

• ε-微分プライバシーを保証するため、パラメータ λ = ‖Y‖₁/ε を用いたラプラスノイズの注入を用いた、新しい微分プライバシー付きオンライン線形最適化アルゴリズムを提案。
• 次元 N に多項式的依存を示す先行研究とは異なり、問題の幾何構造に適応する正則化に基づくフレームワークを活用。
• ノイズの大きさが有界である事象に関する条件付き議論を導入し、高確率でのリグレットの集中を保証。
• ノイズを適切に調整したプライベート版 SCRiBLe アルゴリズムを用いて、プライベートなバンドイット学習から非プライベートなバンドイット学習への還元を実施。
• 凸体の自己共形性の性質を活用し、問題の幾何的構造に基づいてリグレットをバウンド。
• ノイズと損失ベクトルの寄与を分離する修正されたリグレット分解を用い、タイトな高確率バウンドの達成を可能に。

実験結果

リサーチクエスチョン

• RQ1 フル情報設定におけるオンライン線形最適化の文脈で、微分プライバシーを達成する際に、リグレットの加法的オーバーヘッドが定数にとどまるか。
• RQ2 微分プライバシー付きバンドイット線形最適化において、非プライベートな最適バウンドと一致する Õ(√T) のリグレットを達成できるか。
• RQ3 幾何的正則化を用いることで、プライベートなオンライン学習アルゴリズムにおける次元 N 依存を排除または低減できるか。
• RQ4 部分的フィードバックを伴うアドバーシャルバンドイット設定において、プライバシー ε とリグレットの最適なトレードオフは何か。
• RQ5 一般化された還元技術により、バンドイットフィードバック設定において、Õ(√T) のリグレットを保持するとともに、ε-微分プライバシーを保証できるか。

主な発見

• フル情報設定では、提案アルゴリズムがリグレット O(√T) + Õ(1/ε) を達成し、ε ≥ 1/√T の場合、微分プライバシーが「無料」となることを示した。
• 立方体上でのオンライン線形最適化において、リグレットバウンドは Õ(√(NT)/ε) から Õ(√(NT) + N log²T / ε) に改善され、T < N/ε² の場合でも有意義である。
• エキスパートの助言による予測において、リグレットバウンドは O(√(T log N) + N log N log²T / ε) に改善され、以前の Õ(√(T log N)/ε) のバウンドを上回る。
• バンドイット設定では、線形バンドイットに対する最初の ε-微分プライバシーを満たすアルゴリズムが、Õ(√T) のリグレットを達成し、Smith & Thakurta (2013) が提起した未解決問題を解決した。
• 非確率的マルチアームバンディットでは、リグレットが Õ(√(NT log N)/ε) に改善され、以前の最良バウンド Õ(NT²ᐟ³/ε) を上回る。
• 解析により、微分プライバシー下でも、T に最適なリグレット依存性が維持され、T²ᐟ³ やそれ以上のスケーリングが生じないことが示された。