[論文レビュー] Actor Critic with Differentially Private Critic

Jonathan Lebensold, William L. Hamilton+2 more|arXiv (Cornell University)|Oct 14, 2019

Adversarial Robustness in Machine Learning参考文献 30被引用数 5

ひとこと要約

本稿では、信頼できるプロデューサーがDP-LSLを用いて政策をプライベートに評価し、クライアントを初期化することで、信頼できない消費者向けにサンプル効率の良い転移学習を可能にする、微分プライバシーを適用したアクタ・クリティック強化学習フレームワークを提案する。この手法は、感度の高い軌道データのプライバシーを保ちながら、下流タスクにおける学習効率を向上させ、実験結果では強いプライバシー予算下でも収束が速いことを示している。

ABSTRACT

Reinforcement learning algorithms are known to be sample inefficient, and often performance on one task can be substantially improved by leveraging information (e.g., via pre-training) on other related tasks. In this work, we propose a technique to achieve such knowledge transfer in cases where agent trajectories contain sensitive or private information, such as in the healthcare domain. Our approach leverages a differentially private policy evaluation algorithm to initialize an actor-critic model and improve the effectiveness of learning in downstream tasks. We empirically show this technique increases sample efficiency in resource-constrained control problems while preserving the privacy of trajectories collected in an upstream task.

研究の動機と目的

• 医療分野におけるように、エージェントの軌道に機微な情報が含まれる状況において、強化学習におけるプライバシー保護型知識転送を可能にすること。
• 上流データからのプライベート化された価値関数初期化を活用することで、強化学習におけるサンプル非効率性の課題を解決すること。
• 信頼できるアグリゲーターが微分プライバシーを適用した価値関数を共有することで、下流の信頼できない環境で学習をブートストラップする、プロデューサー・コンシューマー信頼モデルを設計すること。
• 微分プライバシーを適用した方策評価が、強いプライバシー保証を維持したまま、アクタ・クリティックエージェントの初期化に効果的に機能するかどうかを評価すること。

提案手法

• プロデューサーは、微分プライバシーを適用した最小二乗回帰アルゴリズムであるDP-LSLを用いて、機微な軌道データベースから状態価値関数を推定する。
• DP-LSLの出力である正則化付き最小二乗推定値 $\hat{\theta}^\lambda_X$ が、アクタ・クリティックフレームワーク内のクライアントのパラメータ $\mathbf{w}$ の初期化に用いられる。
• コンシューマーは、プライベート化された価値関数 $\hat{v}(s, \mathbf{w})$ を用いてクライアントを初期化し、その後自らの環境で標準的なアクタ・クリティック学習を実行する。
• 微分プライバシーは、DP-LSL推定プロセスに適切にスケーリングされたノイズを追加することで確保され、プライバシーのパラメータは $\epsilon$ および $\delta = 1/m$ である。
• 本手法は、各軌道が1人のユーザーの寄与であると想定しており、プライバシーは、個々の軌道が最終的な価値関数推定値に与える影響を制限することで保証される。
• 本手法は、100状態のMDPおよびOpenAI GymのTaxi-V2環境で評価され、プライベート化された初期化の有無にかかわらずの性能を比較している。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを適用した方策評価アルゴリズムを、訓練軌道のプライバシーを保ちながらアクタ・クリティック強化学習フレームワークにおけるクライアントの初期化に使用できるか？
• RQ2 プライベート化された価値関数初期化は、下流の強化学習タスクにおけるサンプル効率を向上させるか？
• RQ3 プライバシーの予算 $\epsilon$ を変化させると、コンシューマー環境における転送された方策のパフォーマンスにどのような影響を与えるか？
• RQ4 プライバシー予算が厳しい状況下でも、プライベート化された価値関数転送に測定可能な利点があるか？

主な発見

• 微分プライバシーを適用したクライアントで初期化されたアクタ・クリティックエージェントは、MDP-100およびTaxi-V2環境の両方で、非プライベートな初期化よりも収束が速かった。
• Taxi-V2環境では、プライベート初期化では10,000エピソードで収束に到達したが、非プライベート初期化では15,000エピソードを要した。
• プライバシー予算 $\epsilon$ を2桁変化させてもパフォーマンスに顕著な影響がなく、プライバシーと効用のトレードオフに対して頑健であることが示された。
• 本手法は、DPノイズが加わっても、転送された価値関数がサンプル効率を著しく向上させることを示しており、プライベートな知識転送が有効であることを裏付けた。
• プロデューサーのエピソード数を10,000から50,000に増加させることで、さらに転送パフォーマンスが向上したため、データ量の増加に伴うスケーラビリティが示された。
• 結果から、プライベートな価値関数転送が、データが限られた、プライバシー制約のある強化学習環境において実質的な利点を提供することが確認された。