[論文レビュー] Mitigating Bias in Adaptive Data Gathering via Differential Privacy

Seth Neel, Aaron Roth|arXiv (Cornell University)|Jun 6, 2018

Advanced Bandit Algorithms Research参考文献 28被引用数 4

ひとこと要約

本稿では、ベルヌーイバンディットや線形コンテキストバンディットの設定において、適応的データ収集（例：バンディットアルゴリズム）における系統的バイアスと誤った統計的推論を軽減するために、微分プライバシーを用いる手法を提案する。選択意思決定を微分プライバシーで保証することで、平均推定値のバイアスを制限し、有効なp値補正を可能にし、確率的および線形コンテキストバンディット設定において近似的に最適なレグレットを達成する。理論的保証も強く、実用的応用に適している。

ABSTRACT

Data that is gathered adaptively --- via bandit algorithms, for example --- exhibits bias. This is true both when gathering simple numeric valued data --- the empirical means kept track of by stochastic bandit algorithms are biased downwards --- and when gathering more complicated data --- running hypothesis tests on complex data gathered via contextual bandit algorithms leads to false discovery. In this paper, we show that this problem is mitigated if the data collection procedure is differentially private. This lets us both bound the bias of simple numeric valued quantities (like the empirical means of stochastic bandit algorithms), and correct the p-values of hypothesis tests run on the adaptively gathered data. Moreover, there exist differentially private bandit algorithms with near optimal regret bounds: we apply existing theorems in the simple stochastic case, and give a new analysis for linear contextual bandits. We complement our theoretical results with experiments validating our theory.

研究の動機と目的

• 選択されたデータポイントが過去の観測に依存する適応的データ収集において生じる系統的バイアスの問題に対処する。これにより、経験的推定値が歪み、誤った発見が生じる。
• 特定のモデルに限定され、複雑な事後処理を要する従来のバイアス補正手法の限界を克服するため、微分プライバシーを用いた一般的で原理的根拠のあるアプローチを導入する。
• 単純な確率的バンディットと線形コンテキストバンディットの両方におけるバイアスの理論的境界を提供し、追加のバイアス補正手順なしに堅牢性を確保する。
• 順次実験における仮説検定に不可欠な、適応的に収集されたデータに対する有効な統計的推論（特に補正済みp値）を可能にする。
• 近似的に最適なレグレットと強いバイアス保証を持つ、微分プライバシーを適用したバンディットアルゴリズムを開発し、実世界の適応的学習システムに応用可能である。

提案手法

• バンディットアルゴリズムの選択メカニズムに微分プライバシーを適用し、探索・活用の意思決定が観測された報酬に弱く依存するようにすることで、情報漏洩を制限する。
• 微分プライバシーと適応的データ分析の関係を活用し、Dworkら（2015）のmax-information手法を用いて、確率的バンディットにおける経験的平均のバイアスを制限する。
• 非プライベートなUCBアルゴリズムよりも、バイアスが $ O(1/\sqrt{K \cdot T}) $ のオーダーに抑えられる、プライベートUCB（private UCB）の変種を設計する。
• コンテキストが公開可能である一方で報酬に基づく意思決定が微分プライバシーに従うようにすることで、線形コンテキストバンディットにフレームワークを拡張し、従来のプライベートコンテキストバンディット手法よりも精度を向上させる。
• 既存のプライバシーに基づく適応的分析ツール（例：max-information境界）を用いて、適応的に収集されたデータに対する仮説検定のp値を補正し、第1種の過誤制御を有効にする。
• モンテカルロシミュレーションを用いて理論的主張を検証し、バイアス、レグレット、p値分布の指標において、プライベートおよび非プライベートバンディットアルゴリズムを比較する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを用いることで、確率的バンディット設定における適応的データ収集によって生じる経験的平均推定値のバイアスを制限できるか？
• RQ2 微分プライバシーは、コンテキストバンディットのような適応的手順によって収集されたデータに対する有効な統計的推論（特に補正済みp値）を可能にするか？
• RQ3 微分プライバシーを適用したバンディットアルゴリズムは、近似的に最適なレグレットを達成しつつ、推定されたアーム平均値のバイアスを低く保てるか？
• RQ4 確率的および線形コンテキスト設定の両方において、プライベートおよび非プライベートバンディットアルゴリズムにおける経験的平均とp値のバイアスはどのように異なるか？
• RQ5 微分プライバシーに基づくバイアスの理論的境界は実際の状況でも成り立つのか？また、シミュレーションにおける経験的観察と比較して、どの程度の一致を示すか？

主な発見

• 20本のアーム、500ラウンドの設定において、プライベートUCBの平均絶対バイアスは0.00176にまで低下したが、非プライベートUCBでは0.0698に達し、40倍以上のバイアスが生じた。
• 2番目の実験では $ K=5 $、$ T=100,000 $、$ \epsilon=400 $ の条件下で、プライベートUCBは1アームあたり平均バイアス0.0015（ゼロと区別できない）を達成したが、非プライベートUCBでは0.011に達し、7.5倍のバイアス増加が確認された。
• 非プライベートUCBでは最もバイアスの大きいアームのバイアスは約0.14に達し、強い負の歪み（negative skew）を示したが、プライベートUCBでは同様の歪みは認められず、バイアスは統計的にゼロと区別できない結果となった。
• 線形コンテキストバンディットでは、帰無仮説が真である場合にz検定で76%の誤った発見率（false discovery rate）が生じ、適応性に起因するp値の著しい上昇（inflation）が確認された。
• 非プライベートUCBのp値分布は強く下向きに歪んでおり、76%のp値が0.05の閾値を下回ったが、帰無仮説下での理論的期待値は5%であるため、推論が無効であることが確認された。
• プライベートUCBは非プライベートUCBと同等の非線形レグレットを維持しており、プライバシーの導入が学習効率に悪影響を及えないことを示した。