[論文レビュー] An Optimal Private Stochastic-MAB Algorithm Based on an Optimal Private Stopping Rule

Touqir Sajed, Or Sheffet|arXiv (Cornell University)|May 22, 2019

Auction Theory and Applications被引用数 12

ひとこと要約

本稿では、新たなプライベートな停止ルールに基づく、微分プライバシーを満たす確率的マルチアームバンディット（MAB）アルゴリズムを提示している。このアルゴリズムは、$O\left(\frac{K\log T}{\varepsilon}\right)$ の最適なレグレットバウンドを達成しており、非プライベートな下界と最近確立されたプライベートな下界の両方と一致する。手法は、先行のプライベートUCBアルゴリズムで使用されていた非最適な木構造メカニズムの代わりに、平均推定に最適なプライベートな停止ルールを用いたプライベート版の逐次削除法を採用している。

ABSTRACT

We present a provably optimal differentially private algorithm for the stochastic multi-arm bandit problem, as opposed to the private analogue of the UCB-algorithm [Mishra and Thakurta, 2015; Tossou and Dimitrakakis, 2016] which doesn't meet the recently discovered lower-bound of $Ω\left(\frac{K\log(T)}ε ight)$ [Shariff and Sheffet, 2018]. Our construction is based on a different algorithm, Successive Elimination [Even-Dar et al. 2002], that repeatedly pulls all remaining arms until an arm is found to be suboptimal and is then eliminated. In order to devise a private analogue of Successive Elimination we visit the problem of private stopping rule, that takes as input a stream of i.i.d samples from an unknown distribution and returns a multiplicative $(1 \pm α)$-approximation of the distribution's mean, and prove the optimality of our private stopping rule. We then present the private Successive Elimination algorithm which meets both the non-private lower bound [Lai and Robbins, 1985] and the above-mentioned private lower bound. We also compare empirically the performance of our algorithm with the private UCB algorithm.

研究の動機と目的

• 既存の微分プライバシーを満たすMABアルゴリズムがノイズの入った信頼区間によりサブオプティマルなレグレットを示すという理論的下界とのギャップを埋めること。
• 純粋な $\varepsilon$-微分プライバシー下で最適なレグレットを達成する、逐次削除法のプライベート版を開発すること。
• 最小限のノイズで分布の平均を $1\pm\alpha$ の精度で近似できるプライベートな停止ルールを設計し、その最適性を証明すること。
• 提案手法が多様な設定において、さまざまな観点から疑似レグレットの観点で、既存のプライベートUCBの変種を上回ることを実証的に示すこと。

提案手法

• アルゴリズムは、すべてのアクティブなアームに対して信頼区間を維持し、信頼性が確保された時点でサブオプティマルなアームを削除する逐次削除法に基づいている。
• i.i.d. サンプルを用いて分布の平均を推定するためのプライベートな停止ルールが導入されており、$\varepsilon$-微分プライバシーを満たしつつ、$1\pm\alpha$ の近似精度を達成し、最適なサンプル複雑度を実現している。
• プライベートな停止ルールは、木構造メカニズムによる $\log^3 T$ のノイズの増幅を回避する新しいノイズ機構を用いており、1ステップあたり $O(\log T / \varepsilon)$ のノイズを達成している。
• プライベートな逐次削除法アルゴリズムは、この停止ルールを統合し、最小限のレグレットでアームの平均をプライベートに推定し、サブオプティマルなアームを削除している。
• 理論的分析により、アルゴリズムがLaiとRobbins（1985）の非プライベートな下界およびShariffとSheffet（2018）のプライベートな下界の両方を満たすことが証明されている。
• 実験的評価では、$K$、$\varepsilon$、報酬ギャップ構造が異なる4つの合成設定において、アルゴリズムをプライベートUCBと比較している。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを満たすMABアルゴリズムが、非プライベートおよびプライベートな情報理論的下界と一致する $O\left(\frac{K\log T}{\varepsilon}\right)$ の最適なレグレットバウンドを達成できるか。
• RQ2 $\varepsilon$-DP下で、ノイズを最小限に抑えつつ、$1\pm\alpha$ の精度で分布の平均を近似できるプライベートな停止ルールを設計できるか。
• RQ3 プライベートUCBにおける木構造メカニズムを、逐次削除フレームワーク内でのプライベートな停止ルールに置き換えることで、顕著な改善が得られるか。
• RQ4 多様なバンディット設定において、プライベートな逐次削除法アルゴリズムが、既存のプライベートUCBアルゴリズムよりも疑似レグレットの観点で優れているか。

主な発見

• 提案されたプライベートな逐次削除法アルゴリズムは、$O\left(\frac{K\log T}{\varepsilon}\right)$ のレグレットを達成しており、非プライベートおよびプライベートな下界と一致しており、最適性が証明された。
• プライベートな停止ルールは最適性が証明されており、サンプル複雑度がプライベート平均推定の情報理論的下界と一致している。
• 全テスト設定において、プライベートな逐次削除法アルゴリズムは、疑似レグレットの観点で、プライベートUCBを最低5倍以上上回っている。
• 提案手法の疑似レグレット曲線は区分的線形であることが示され、サブオプティマルなアームが早期に削除されていることが示され、プライベートUCBの滑らかな曲線とは対照的で、サブオプティマルなアームを引き続き選択している。
• アルゴリズムの性能は、$K$、$\varepsilon$、報酬ギャップ構造が変化しても一貫して優れており、プライベートUCBを常に上回っている。
• 結果から、木構造メカニズムをプライベートな停止ルールに置き換えることが、プライベートMABにおける最適なレグレットを達成する鍵であると考えられる。