[論文レビュー] Differentially Private Multi-Armed Bandits in the Shuffle Model

Jay M. Tenenbaum, Haim Kaplan+2 more|arXiv (Cornell University)|Jun 5, 2021

Advanced Bandit Algorithms Research参考文献 24被引用数 5

ひとこと要約

この論文は、シャッフルモデルにおける微分プライバシーを満たすマルチアームバンディットアルゴリズムを提示しており、近似的に最適なレグレットバウンドを達成し、中央集権モデルの性能に近く、ローカルモデルよりも著しく優れている。バッチ版のアणイ・エリミネーション（AE）アルゴリズムとプライベートなバイナリ和分計算メカニズムを用いて、効率的かつプライバシー保護されたアーム選択を実現し、レグレットが $O\left(\sum_{\Delta_a > 0} \frac{1}{\Delta_a} \log T + \frac{k\sqrt{\log(1/\delta)}\log T}{\varepsilon}\right)$ のスケーリングを示す。

ABSTRACT

We give an $(\varepsilon,δ)$-differentially private algorithm for the multi-armed bandit (MAB) problem in the shuffle model with a distribution-dependent regret of $O\left(\left(\sum_{a\in [k]:Δ_a>0}\frac{\log T}{Δ_a} ight)+\frac{k\sqrt{\log\frac{1}δ}\log T}{\varepsilon} ight)$, and a distribution-independent regret of $O\left(\sqrt{kT\log T}+\frac{k\sqrt{\log\frac{1}δ}\log T}{\varepsilon} ight)$, where $T$ is the number of rounds, $Δ_a$ is the suboptimality gap of the arm $a$, and $k$ is the total number of arms. Our upper bound almost matches the regret of the best known algorithms for the centralized model, and significantly outperforms the best known algorithm in the local model.

研究の動機と目的

• ローカルモデルと中央集権モデルの間のレグレットギャップを、中間の信頼モデルとしてのシャッフルモデルを活用することで解消すること。
• $(\varepsilon,\delta)$-微分プライバシーを保証しながら、逐次的意思決定において低レグレットを維持できる実用的で効率的なアルゴリズムを設計すること。
• ローカルモデルのアルゴリズムが $1/\varepsilon^2$ のレグレットペナルティを被るのを避けるために、信頼できるシャッフル装置を用いてノイズ増幅を低減すること。
• 中央集権DPアルゴリズムと競合する分布依存および分布無関係なレグレットバウンドを達成すること。中央集権モデルの強い信頼仮定を必要としないこと。

提案手法

• サブオプティマルなアームを早期に特定・除外できるように、段階を経てバッチサイズを増加させるバッチ版のアণイ・エリミネーション（AE）アルゴリズムを提案する。
• シャッフルモデルにおけるプライベートなバイナリ和分計算メカニズムをコアなプリミティブとして採用し、誤差を制御したアーム報酬のプライベート推定を実現する。
• ユーザーの報告を収集・ランダム化した後、集約するためのシャッフル装置を用いることで、ローカルモデルより強いプライバシー保証を実現するとともに、ローカルDPよりノイズを低減する。
• 集中不等式と高確率の集中事象を用いて、アームの除外に必要なサンプル数の上限を導出し、低レグレットを保証する。
• 失敗確率を制御するための綺麗な事象 $C$ を導入し、この事象の下でレグレットバウンドを導出し、その後、尾確率と組み合わせて期待レグレットを求める。
• 指数関数的に増加するバッチサイズを用いることで、ラウンド数を削減し、特にサブオプティマルギャップが大きなアームにおいてレグレットを改善する。

実験結果

リサーチクエスチョン

• RQ1 ローカルモデルの $1/\varepsilon^2$ ペナルティを回避しつつ、中央集権モデルに近いレグレットを達成できる、シャッフルモデルにおける微分プライバシーを満たすマルチアームバンディットアルゴリズムを設計できるか？
• RQ2 シャッフルモデルの中間的信頼モデルを活用することで、報酬推定におけるノイズを低減しつつ、強力なプライバシー保証を維持できるか？
• RQ3 プライベートな状態でサブオプティマルなアームを最小限のレグレット影響で早期に除外できるバッチ化アルゴリズムを設計できるか？
• RQ4 マルチアームバンディットにおけるシャッフルモデルにおいて、プライバシーパラメータ $\varepsilon$, $\delta$ とレグレットの最適なトレードオフは何か？
• RQ5 適応的バッチ処理とプライベート集約を用いることで、プライベートバンディットの加法的レグレット項を $O(k \log T / \varepsilon^2)$ から $O(k \sqrt{\log(1/\delta)} \log T / \varepsilon)$ まで改善できるか？

主な発見

• 提案されたアルゴリズムは、分布依存レグレットとして $O\left(\sum_{\Delta_a > 0} \frac{\log T}{\Delta_a} + \frac{k\sqrt{\log(1/\delta)}\log T}{\varepsilon}\right)$ を達成し、中央集権モデルの性能にほぼ一致する。
• 分布無関係レグレットは $O\left(\sqrt{kT\log T} + \frac{k\sqrt{\log(1/\delta)}\log T}{\varepsilon}\right)$ であり、ローカルモデルの $\Omega(1/\varepsilon^2)$ に比べて顕著に改善されている。
• 指数関数的に増加するバッチサイズを用いることで、サブオプティマルなアームを早期に検出・除外し、必要なサンプル数を削減し、レグレットバウンドを改善している。
• シャッフルモデルにおけるプライベートなバイナリ和分計算メカニズムは、$O(\sqrt{\log(1/\delta)}/\varepsilon)$ の誤差を保証し、加法的レグレット項の制御に不可欠である。
• 主なイノベーションは、シャッフルモデルのプライバシー強度と適応的バッチ処理を組み合わせることで、プライバシーとレグレットの近似的最適なトレードオフを実現したことにある。
• 解析により、綺麗な事象 $C$ は高確率で発生し、稀な失敗を条件付けた場合でも、期待レグレットが導出された式で有界であることが示された。