[論文レビュー] Differentially Private Contextual Linear Bandits

Roshan Shariff, Or Sheffet|arXiv (Cornell University)|Jan 1, 2018

Privacy-Preserving Technologies in Data被引用数 30

ひとこと要約

本稿では、文脈付き線形バンディットにおける共同微分プライバシーのフレームワークを提案する。プライバシーは現在の日の行動には適用されず、将来へのみ適用される。木構造的手法とガウス分布またはウィシャート分布のノイズを用いて線形UCBアルゴリズムを変更することで、プライバシー制約下でも有界なレグレットを達成し、MAB問題におけるプライバシーによる追加レグレットの下界を初めて確立する。

ABSTRACT

We study the contextual linear bandit problem, a version of the standard stochastic multi-armed bandit (MAB) problem where a learner sequentially selects actions to maximize a reward which depends also on a user provided per-round context. Though the context is chosen arbitrarily or adversarially, the reward is assumed to be a stochastic function of a feature vector that encodes the context and selected action. Our goal is to devise private learners for the contextual linear bandit problem. We first show that using the standard definition of differential privacy results in linear regret. So instead, we adopt the notion of joint differential privacy, where we assume that the action chosen on day t is only revealed to user t and thus needn't be kept private that day, only on following days. We give a general scheme converting the classic linear-UCB algorithm into a joint differentially private algorithm using the tree-based algorithm. We then apply either Gaussian noise or Wishart noise to achieve joint-differentially private algorithms and bound the resulting algorithms' regrets. In addition, we give the first lower bound on the additional regret any private algorithms for the MAB problem must incur.

研究の動機と目的

• 文脈が敵対的で報酬が確率的である文脈付き線形バンディット設定において、ユーザーのプライバシーを保護する課題に対処すること。
• 標準的な微分プライバシーが文脈付き線形バンディットにおいて線形レグレットを引き起こし、実用的使用には不適切であることを示すこと。
• 行動が現在の日には保護されないが、将来の日から保護されるという、新たなプライバシー概念「共同微分プライバシー」を提案すること。
• 標準的な線形UCBを木構造的手法を用いて変換し、共同微分プライバシーを満たすアルゴリズムに変換する一般化されたスキームを設計すること。
• マルチアームバンディット設定において、いかなるプライベートアルゴリズムがプライバシーによって引き起こされる追加レグレットの理論的下界を初めて確立すること。

提案手法

• 行動が日 t において選択された場合、その行動は日 t+1 以降の情報からのみプライバシーが保証される、共同微分プライバシーを採用する。
• 時間ステップ間でプライバシーを保証するため、木構造的手法を用いてプライベートな勾配または推定値を生成する。
• プライバシー損失を制御しつつ、共同微分プライバシーを達成するために、木構造的手法にガウス分布またはウィシャート分布のノイズを統合する。
• ノイズを含む木構造的手法を用いて報酬モデルのパラメータのプライベート推定値を取得し、線形UCBアルゴリズムを修正する。
• プライバシー予算と推定誤差のトレードオフを分析することで、得られたプライベートアルゴリズムのレグレットを上限で評価する。
• いかなるプライベートアルゴリズムも必然的に引き起こす追加レグレットの下界を導出することで、MABにおけるプライバシーとユーティリティのトレードオフの根本的限界を証明する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な微分プライバシーは文脈付き線形バンディットにおいて線形レグレットを引き起こすのか？
• RQ2 現在日のプライバシー要件を緩和するプライバシー概念は、依然として強いプライバシー保証を提供しつつ、サブ線形レグレットを達成できるか？
• RQ3 線形UCBアルゴリズムは、木構造的手法を用いてどのように共同微分プライバシーを維持できるか？
• RQ4 ガウス分布ノイズとウィシャート分布ノイズを用いることで、プライベートな文脈付きバンディットのレグレット性能にどのような影響を与えるか？
• RQ5 マルチアームバンディット設定において、いかなるプライベートアルゴリズムも必然的に引き起こす追加レグレットの根本的下限は何か？

主な発見

• 標準的な微分プライバシーは文脈付き線形バンディットにおいて線形レグレットを引き起こし、学習には不適切である。
• 共同微分プライバシーにより、現在日の行動に対するプライバシー要件を緩和することで、サブ線形レグレットを達成できる。
• ガウス分布またはウィシャート分布のノイズを用いた提案された木構造的手法は、有界なレグレットを達成しつつ、共同微分プライバシーを成功裏に実現する。
• プライベートアルゴリズムのレグレットはプライバシー予算と特徴空間の次元に比例し、明示的な上限が提示されている。
• 本稿では、プライバシーによる追加レグレットの最初の下界を確立し、プライベートバンディット学習においてある程度のレグレット増加は避けられないことを示している。
• 理論的分析により、提案手法がプライバシーとレグレット性能の間で良好なトレードオフを達成していることが確認された。