[論文レビュー] Locally Private Distributed Reinforcement Learning

Hajime Ono, Tsubasa Takahashi|arXiv (Cornell University)|Jan 31, 2020

Privacy-Preserving Technologies in Data参考文献 27被引用数 19

ひとこと要約

本稿では、局所的微分プライバシー（LDP）を満たす分散強化学習（DRL）のための新規フレームワークであるPrivate Gradient Collection（PGC）を提案する。PGCは、ラプラスまたはPRS（ポisson再挿入サンプリング）機構によるノイズ注入を通じて勾配にプライバシーを確保することで、プライベートな環境間でロバストな方策学習を可能にする。エージェントはプライベートな環境で学習を行い、プライバシーを漏らさずに更新を報告できる。LDP制約下でも効果的な学習性能を維持しながら、強固なプライバシー保証を達成する。

ABSTRACT

We study locally differentially private algorithms for reinforcement learning to obtain a robust policy that performs well across distributed private environments. Our algorithm protects the information of local agents' models from being exploited by adversarial reverse engineering. Since a local policy is strongly being affected by the individual environment, the output of the agent may release the private information unconsciously. In our proposed algorithm, local agents update the model in their environments and report noisy gradients designed to satisfy local differential privacy (LDP) that gives a rigorous local privacy guarantee. By utilizing a set of reported noisy gradients, a central aggregator updates its model and delivers it to different local agents. In our empirical evaluation, we demonstrate how our method performs well under LDP. To the best of our knowledge, this is the first work that actualizes distributed reinforcement learning under LDP. This work enables us to obtain a robust agent that performs well across distributed private environments.

研究の動機と目的

• 局所的環境で学習される方策が、意図しない形でプライベートな環境情報を露呈する問題に対処すること。
• プライベートな環境におけるエージェントが報告する勾配に対して、局所的微分プライバシー（LDP）を保証するDRLフレームワークを設計すること。
• エージェントレベルのプライバシーを損なわず、多様なプライベート環境間でロバストな方策学習を可能にすること。
• 実用的なDRL設定において、プライバシー（εで制御）と学習効率のトレードオフを評価すること。

提案手法

• 局所エージェントがプライベートな環境でモデルを学習し、中央アグリゲーターにLDP保護付きのノイズ付き勾配を報告するPrivate Gradient Collection（PGC）フレームワークを提案する。
• ラプラスおよびPRS（Poisson Rejection Sampling）の2つの確率的メカニズムを用いて勾配にノイズを注入し、局所的微分プライバシーを確保する。
• ベースラインアルゴリズムとして非同期アドバンテージアクターキャリブレーター（A3C）を採用し、学習安定性を維持しながらプライバシーを保つように勾配報告を変更する。
• PRSにおけるバッファリング機構を導入し、勾配の安定性を向上させ、ノイズによる訓練不安定化を低減する。
• 中央アグリゲーターは報告されたノイズ付き勾配を用いてグローバルモデルを更新し、複数の環境間でロバストな方策学習を実現する。
• 微分プライバシーのレベルを制御するプライバシーバジェットεを採用し、εが小さいほどプライバシーが強化される。

実験結果

リサーチクエスチョン

• RQ1 プライベートな環境で学習される局所的方策によるプライバシー漏洩に対して、分散強化学習をどのようにして耐性を持たせられるか？
• RQ2 生データの転送を必要とせずに、DRL設定における勾配に対して局所的微分プライバシー（LDP）を効果的に適用する方法は何か？
• RQ3 ノイズ注入メカニズムの違い（ラプラス対PRS）が、DRLにおける学習効率およびプライバシー・ユーティリティのトレードオフに与える影響は何か？
• RQ4 プライバシーバジェットεの選択が、LDP下での学習プロセスの成功確率および収束速度に与える影響は何か？

主な発見

• PRSメカニズムを用いたPGC-A3Cは、ε=2の条件下で成功比0.95を達成し、ラプラスメカニズムの0.90を上回る。これは、強いプライバシー制約下でも優れた初期学習パフォーマンスを示している。
• ラプラスメカニズムはε=10の条件下で相対AUC 0.965を達成し、非プライベートベースライン（AUC=1.0）に近づく。これは、緩いプライバシー制約下でも高い学習効率を示している。
• PRSメカニズムはε=2の条件下で相対AUC 0.862を達成し、このプライバシー水準でラプラスを上回る。これは、中程度のプライバシー要件においてPRSがより効果的であることを示唆している。
• ε=1の条件下でPRSメカニズムは成功比0.85を達成し、ラプラスは0.80を記録した。これは、低プライバシー要件の環境でPRSの優位性を示している。
• |B|=100のバッファリングを適用したPRSメカニズムは、バッファなしに比べて訓練安定性が向上し、特に高いノイズ環境下で優れた学習パフォーマンスを発揮する。
• PRSのε=2におけるFST（初回成功時間）中央値は7,549であり、ラプラスの20,238.5よりも顕著に低い。これは、この設定下でPRSがより速く収束することを示している。