[論文レビュー] Private Reinforcement Learning with PAC and Regret Guarantees

Giuseppe Vietri, Borja Balle+2 more|arXiv (Cornell University)|Sep 18, 2020

Privacy-Preserving Technologies in Data参考文献 22被引用数 8

ひとこと要約

本稿では、エピソード的マーケット意思決定過程における共同微分プライバシー（JDP）を満たしつつ、PACおよびレグレットの保証を達成するプライベート強化学習アルゴリズム、PUCBを紹介する。プライバシーのためのコストを最小限に抑え、プライバシーのパラメータεがサンプル複雑性およびレグレットの上限において低次の項にしか影響しないことから、個別化医療などの高リスク分野に適している。

ABSTRACT

Motivated by high-stakes decision-making domains like personalized medicine where user information is inherently sensitive, we design privacy preserving exploration policies for episodic reinforcement learning (RL). We first provide a meaningful privacy formulation using the notion of joint differential privacy (JDP)--a strong variant of differential privacy for settings where each user receives their own sets of output (e.g., policy recommendations). We then develop a private optimism-based learning algorithm that simultaneously achieves strong PAC and regret bounds, and enjoys a JDP guarantee. Our algorithm only pays for a moderate privacy cost on exploration: in comparison to the non-private bounds, the privacy parameter only appears in lower-order terms. Finally, we present lower bounds on sample complexity and regret for reinforcement learning subject to JDP.

研究の動機と目的

• 個人化医療などの感受性の高い分野における強化学習におけるプライバシーとユーティリティのトレードオフを解決すること。
• 継続的観測の下で、エピソード的RLに対して意味のあるプライバシーの概念を、共同微分プライバシー（JDP）を用いて形式化すること。
• JDPの下で強い学習保証（PACおよびレグレットの上限）を維持するプライベートな探索アルゴリズムを開発すること。
• 任意のε-JDP強化学習アルゴリズムにおけるサンプル複雑性およびレグレットのタイトな下界を確立すること。

提案手法

• エピソード的共同微分プライバシー（JDP）を、各ユーザーのデータが相互作用全体にわたって保護されるRLのためのプライバシー定式化として導入する。
• ε-JDPを満たしつつ学習性能を保持するためのノイズを組み込んだ、オプティミズムに基づく探索アルゴリズムPUCBを設計する。
• プライベートなQ値推定を用いた上昇信頼区間（UCB）の原則を活用し、探索とプライバシーのバランスを図る。
• 各初期状態からの最初のアクション出力に対して微分プライバシー機構を適用し、問題をプライベートなマルチアームバンディットに還元する。
• 既存のプライベートバンディットのレグレット下界を活用して、プライベートRLの理論的限界を導出する。
• 硬いMDPインスタンスを構築し、ε-JDP下でのサンプル複雑性およびレグレットの下界を証明する。

実験結果

リサーチクエスチョン

• RQ1 学習性能に著しいコストを負わせることなく、形式的なプライバシー保証を提供する強化学習アルゴリズムを設計できるか？
• RQ2 ユーザー固有の出力を持つエピソード的RLにおける逐次的意思決定に、共同微分プライバシー（JDP）はどのように適用可能か？
• RQ3 ε-JDPを達成するために必要な最小限のユーティリティコスト（サンプル複雑性およびレグレットの観点で）は何か？
• RQ4 エピソード的RLにおけるε-JDP下でのサンプル複雑性およびレグレットの上界と下界は、どのように比較されるか？
• RQ5 探索におけるプライベート性は、プライバシーのパラメータεに対して低次の依存性しか持たない形で達成可能か？

主な発見

• PUCBは、非プライベートのサンプル複雑性およびレグレットレートが支配的項として維持される一方で、ε-JDPの保証を達成する。
• PUCBのサンプル複雑性は Õ(SAH⁴/α² + S²AH⁴/(εα)) であり、プライバシー項は低次の項にのみ現れる。
• PUCBのレグレットは Õ(H²√(SAT) + (SAH³ + S²AH³)/ε) であり、プライバシーの影響は低次の成分に限定される。
• 本稿では、サンプル複雑性の下界 Õ(SAH²/α² + SAH/(εα)) が確立され、支配的項において上界と一致する。
• レグレットの下界 Ω(√(HSAT) + SAH log T / ε) が証明され、プライバシーコストが状態空間サイズSに線形に増加することが示された。
• 結果から、αが小さくTが大きい場合にはプライバシーコストが無視可能になることが示され、本手法の実用性が裏付けられた。