[論文レビュー] Differentially Private Policy Evaluation

Borja Balle, Maziar Gomrokchi+1 more|arXiv (Cornell University)|Mar 7, 2016

Privacy-Preserving Technologies in Data参考文献 8被引用数 9

ひとこと要約

本稿では、マルコフ決定過程における強化学習方策評価のための、初めての微分プライバシー保証付きアルゴリズムを提示する。2つの異なる手法（LSL および LSW）を用いて、価値関数パラメータにガウスノイズを注入する。これにより、バッチサイズが増加するに従い、プライバシー保証は強化され、効用損失は減少する。特に大規模データ環境下で顕著な効果を示す。

ABSTRACT

We present the first differentially private algorithms for reinforcement learning, which apply to the task of evaluating a fixed policy. We establish two approaches for achieving differential privacy, provide a theoretical analysis of the privacy and utility of the two algorithms, and show promising results on simple empirical examples.

研究の動機と目的

• 完全なMDP強化学習における微分プライバシー手法の不足に応えること、特に方策評価に焦点を当てる。
• 医療やレコメンデーションシステムなど、個人データを保護する必要があるセンシティブな応用分野におけるプライバシー確保。
• 訓練データサイズが増大するに従い、高い効用を維持する微分プライバシー保証付きアルゴリズムの開発。
• 微分プライバシー下での方策評価におけるプライバシーと効用のトレードオフを形式的に分析すること。
• 従来の出力摂動技術を、リプシッツ連続でない、トラジェクトリーベースの学習設定に拡張すること。

提案手法

• 2つの微分プライバシー保証付きモンテカルロ方策評価アルゴリズム（LSL（局所感度）およびLSW（重み付き滑らか感度））を提案。
• 局所感度または滑らか感度に基づいて調整されたガウスノイズを価値関数パラメータに注入し、(ε,δ)-微分プライバシーを達成。
• 方策評価における損失関数の非リプシッツ性に対処するため、滑らか感度フレームワークを採用。
• 隣接するデータセットが単一のデータポイントではなく、1つの完全なトラジェクトリーデータの違いを示すような、トラジェクトリーレベルのデータ差分に特化した出力摂動手法を適用。
• LSLアプローチにおいて、プライバシーと効用のバランスを図るために、√mに比例する正則化スケジュールを採用。
• 状態アグリゲーションと関数近似を用いてパラメータ数を削減し、ノイズ効率と収束性を向上。

実験結果

リサーチクエスチョン

• RQ1 価値関数推定の非リプシッツ性を考慮しても、微分プライバシーを完全MDP方策評価に意味的に適用可能か？
• RQ2 隣接データセットが単一のデータポイントではなく、1つの完全なトラジェクトリーデータの差異を示す状況下で、どのように微分プライバシーを達成できるか？
• RQ3 バッチサイズが、微分プライバシー方策評価におけるプライバシーと効用のトレードオフに与える影響は何か？
• RQ4 プライバシー制約下で、LSLとLSWアプローチの収束速度と精度はどのように比較されるか？
• RQ5 積極的な関数近似は、微分プライバシー保証付き方策評価アルゴリズムの性能向上に寄与するか？

主な発見

• バッチサイズが十分に大きい場合、DP-LSLおよびDP-LSWアルゴリズムは、非プライベートなモンテカルロ手法と同一の解に収束する。
• 大規模バッチでは、微分プライバシーに起因する効用損失が急速に減少し、RMSEは非プライベート手法に近づく。
• 小規模バッチではLSLアプローチが優れているが、大規模バッチではLSWアプローチがより効果的である。
• 積極的な関数近似によりパラメータ数が削減され、滑らか感度が低下し、ノイズ効率が向上する。
• 理論的分析から、バッチサイズが増加するに従いプライバシーコストが低下することが示され、実世界応用におけるスケーラビリティを裏付ける。
• 実験的結果から、両方のDPアルゴリズムが、形式的な(ε,δ)-微分プライバシー保証を維持しながらも、高い精度を維持していることが確認された。