[論文レビュー] Multi-Armed Bandits with Local Differential Privacy

Wenbo Ren, Xingyu Zhou+2 more|arXiv (Cornell University)|Jul 6, 2020

Advanced Bandit Algorithms Research参考文献 24被引用数 28

ひとこと要約

本稿は、理論的下界まで定数倍要因で一致するレグレットバウンドを達成する局所微分プライバシー（LDP）マルチアームバンディットアルゴリズムを提案する。ラプラスおよびベルヌーイのキャリブレートド・ランダム化応答メカニズムを用いることで、提案されたLDP-UCB-LおよびLDP-UCB-Bアルゴリズムは$\epsilon$-LDPを満たしつつ、分布依存のレグレットを$O\left(\sum_{a:\Delta_a>0} \left[\frac{\log T}{\epsilon^2 \Delta_a} + \Delta_a \right]\right)$に保つ。数値実験により、タイトさが確認される。

ABSTRACT

This paper investigates the problem of regret minimization for multi-armed bandit (MAB) problems with local differential privacy (LDP) guarantee. In stochastic bandit systems, the rewards may refer to the users' activities, which may involve private information and the users may not want the agent to know. However, in many cases, the agent needs to know these activities to provide better services such as recommendations and news feeds. To handle this dilemma, we adopt differential privacy and study the regret upper and lower bounds for MAB algorithms with a given LDP guarantee. In this paper, we prove a lower bound and propose algorithms whose regret upper bounds match the lower bound up to constant factors. Numerical experiments also confirm our conclusions.

研究の動機と目的

• 順次意思決定システムにおけるパーソナライズドサービスのパフォーマンスとユーザーのプライバシーの間の葛藤に対処すること。
• 局所微分プライバシー（LDP）制約下でのマルチアームバンディット（MAB）問題におけるレグレット最小化を研究すること。
• LDP-MABアルゴリズムの、下界および上界を含むタイトな理論的レグレットバウンドを確立すること。
• 理論的下界まで定数倍要因で一致する実用的なLDPバンディットアルゴリズムを設計すること。
• 数値実験を通じて理論的知見を検証すること。両方の分布（有界および無限大）の報酬分布を対象とする。

提案手法

• 局所プライバシーのためのラプラスノイズを用いるLDP-UCB-Lおよびベルヌーイメカニズムを用いるLDP-UCB-Bの2つのLDPバンディットアルゴリズムを提案する。
• 各ユーザーの報酬を送信する前に、キャリブレートド・ランダム化応答を適用し、$\epsilon$-局所微分プライバシーを保証する。
• プライバシーに配慮した信頼区間を用いて、上界信頼区間（UCB）の原則を改変し、$\epsilon$に比例するスケーリングを行う。
• プライバシー制約下での探索と活用のトレードオフを分析することで、レグレットの上界を導出する。
• プライバシーパラメータ$\epsilon$の逆数をノイズレベルの制御に用い、$\epsilon$が大きいほどよりタイトなバウンドが得られることを示す。
• 導出されたレグレット下界と定数倍要因内で一致する新たな分析フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 局所微分プライバシーの$\epsilon$-LDP下でのマルチアームバンディットにおけるレグレットの根本的限界（下界）は何か？
• RQ2 LDPバンディットアルゴリズムは、理論的下界まで定数倍要因で一致するレグレット上界を達成できるか？
• RQ3 ラプラスおよびベルヌーイの異なる局所プライバシーメカニズムは、MAB設定におけるレグレットパフォーマンスにどのように影響を与えるか？
• RQ4 提案されたLDP-UCBフレームワークは、ベルヌーイ仮定を超えて多様な報酬分布においても強力なパフォーマンスを維持できるか？
• RQ5 プライバシーパラメータ$\epsilon$はレグレットにどのように影響を与え、理論的スケーリングは実験的に確認できるか？

主な発見

• 本稿は、$\epsilon$-LDPマルチアームバンディットにおけるレグレット下界を確立し、どのアルゴリズムも$\Omega\left(\sum_{a:\Delta_a>0} \left[\frac{\log T}{\epsilon^2 \Delta_a} + \Delta_a \right]\right)$より良いレグレットを達成できないことを証明する。
• 提案されたLDP-UCB-Lアルゴリズムは、上界レグレットバウンド$O\left(\sum_{a:\Delta_a>0} \left[\frac{\log T}{\epsilon^2 \Delta_a} + \Delta_a \right]\right)$を達成し、定数倍要因内で下界と一致する。
• LDP-UCB-Bも同様の漸近的レグレットバウンドを達成し、ベルヌーイメカニズムの使用により定数因子がよりタイトである。
• 数値結果により、$\epsilon = 2.0$におけるLDP-UCB-Bのレグレットは非プライベートUCBの1.6倍であり、理論的上界の1.7倍と非常に近い。
• また、$\epsilon = 0.2$では、LDP-UCB-Lの非プライベートUCBに対するレグレット比は8.5倍に達し、理論的上界の9.0倍と整合的である。
• アルゴリズムはベルヌーイ、ベータ、一様、離散分布を含む多様な報酬分布において強固なパフォーマンスを維持しており、ベルヌーイ仮定を超えるロバストネスを示している。