[論文レビュー] Local Differentially Private Regret Minimization in Reinforcement Learning.

Evrard Garcelon, Vianney Perchet+2 more|arXiv (Cornell University)|Oct 15, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用数 4

ひとこと要約

本稿では、有限時 horizon MDP におけるローカル微分プライバシー（LDP）に基づく強化学習アルゴリズムを提案し、ユーザーのデータを保護しながらサブラーレジットを達成する。LDP をユーザー側に適用することにより、非プライベートな設定と比較して乗法的 regret コストを伴うプライバシーを保証する。

ABSTRACT

Reinforcement learning algorithms are widely used in domains where it is desirable to provide a personalized service. In these domains it is common that user data contains sensitive information that needs to be protected from third parties. Motivated by this, we study privacy in the context of finite-horizon Markov Decision Processes (MDPs) by requiring information to be obfuscated on the user side. We formulate this notion of privacy for RL by leveraging the local differential privacy (LDP) framework. We present an optimistic algorithm that simultaneously satisfies LDP requirements, and achieves sublinear regret. We also establish a lower bound for regret minimization in finite-horizon MDPs with LDP guarantees. These results show that while LDP is appealing in practical applications, the setting is inherently more complex. In particular, our results demonstrate that the cost of privacy is multiplicative when compared to non-private settings.

研究の動機と目的

• ユーザーのデータが機微な情報を含む個人化された強化学習におけるプライバシー懸念に対処すること。
• ローカル微分プライバシー（LDP）フレームワークを用いて RL におけるプライバシーを形式化し、ユーザーレベルでの偽装を保証すること。
• LDP 制約を満たしつつサブラーレジットを達成できる楽観的アルゴリズムを設計すること。
• 有限時 horizon MDP における LDP 保護型 RL の regret に対する理論的下界を確立すること。
• 非プライベートな設定と比較した際の regret 増加の観点から、プライバシーの本質的コストを定量化すること。

提案手法

• ユーザー側でのデータ偽装を前提として、有限時 horizon MDP におけるプライバシーをローカル微分プライバシー（LDP）フレームワークを用いて定式化する。
• LDP 制約を学習プロセスに組み込む楽観的強化学習アルゴリズムを設計し、データ収集段階でプライバシーを保証する。
• クライアント側でユーザーの観測に適切に調整されたノイズを追加するメカニズムを導入し、LDP の保証を満たす。
• プライバシー制約下でも探索と活用のバランスを取るために、楽観的価値反復または類似の計画コンponentを採用する。
• LDP 下での regret 界を分析し、提案アルゴリズムの上界と問題クラスの下界の両方を導出する。
• 理論的分析を用いて、LDP 下での regret スケーリングが非プライベートな場合と比較して、乗法的コストを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 有限時 horizon MDP において、ローカル微分プライバシーを保証しつつサブラーレジットを維持できる強化学習アルゴリズムを設計できるか？
• RQ2 LDP 保護型 RL におけるプライバシーとレジットパフォーマンスの根本的トレードオフは何か？
• RQ3 LDP 保護型 RL の regret は、非プライベートな RL 環境と比較してどのようにスケーリングされるか？
• RQ4 LDP 保護型有限時 horizon MDP における regret の理論的下界を確立できるか？
• RQ5 この設定における regret 増加の観点から、プライバシーの乗法的コストは何か？

主な発見

• 提案されたアルゴリズムは、ローカル微分プライバシー制約下でもサブラーレジットを達成し、有限時 horizon MDP におけるプライベートな RL が実現可能であることを示している。
• LDP 保護型有限時 horizon MDP における regret の理論的下界が確立され、プライバシーに起因する本質的制限が示された。
• プライバシーのコストは非プライベートな設定と比較して乗法的である。これは、レジットがプライバシー予算に応じて増大する要因を伴うことを意味する。
• 分析により、LDP は regret 増加の観点で顕著だが、定量可能なパフォーマンスペナルティを引き起こすことが確認された。
• 結果から、LDP は実世界への展開において実用的であるが、RL における regret 最小化の複雑性を根本的に高めることを示している。