[論文レビュー] How You Act Tells a Lot: Privacy-Leakage Attack on Deep Reinforcement Learning

Xinlei Pan, Weiyao Wang+4 more|arXiv (Cornell University)|Apr 24, 2019

Privacy-Preserving Technologies in Data参考文献 31被引用数 13

ひとこと要約

本稿は、深層強化学習（DRL）方策に対するプライバシー漏洩攻撃の初の研究を提案しており、攻撃者がブラックボックスアクセスのみを介して訓練済み方策から、床面図やロボット構成といった機微な環境動的特性を推定できることを実証している。遺伝的アルゴリズムを用いた環境動的特性の回復とシャドウ方策に基づく候補推定を組み合わせることで、Grid Worldマップの再構築において最大95.83％の正確性を達成し、連続制御および自動運転シミュレータにおいても高い正確性を示しており、DRLシステムにおける顕著なプライバシーリスクを明らかにしている。

ABSTRACT

Machine learning has been widely applied to various applications, some of which involve training with privacy-sensitive data. A modest number of data breaches have been studied, including credit card information in natural language data and identities from face dataset. However, most of these studies focus on supervised learning models. As deep reinforcement learning (DRL) has been deployed in a number of real-world systems, such as indoor robot navigation, whether trained DRL policies can leak private information requires in-depth study. To explore such privacy breaches in general, we mainly propose two methods: environment dynamics search via genetic algorithm and candidate inference based on shadow policies. We conduct extensive experiments to demonstrate such privacy vulnerabilities in DRL under various settings. We leverage the proposed algorithms to infer floor plans from some trained Grid World navigation DRL agents with LiDAR perception. The proposed algorithm can correctly infer most of the floor plans and reaches an average recovery rate of 95.83% using policy gradient trained agents. In addition, we are able to recover the robot configuration in continuous control environments and an autonomous driving simulator with high accuracy. To the best of our knowledge, this is the first work to investigate privacy leakage in DRL settings and we show that DRL-based agents do potentially leak privacy-sensitive information from the trained policies.

研究の動機と目的

• 訓練済みの深層強化学習（DRL）方策が、環境の遷移動的特性に関する機微な情報を漏洩させているかどうかを調査すること。
• DRL方策へのブラックボックスアクセスのみを用いて、床面図やロボット構成といった機微な環境構造を回復する実用的な攻撃手法を開発すること。
• 離散的（Grid World）および連続制御（Hopper, Half-Cheetah, Bipedal Walker, TORCS）環境において、プライバシー漏洩攻撃の実現可能性と正確性を評価すること。
• 摂動を加えた環境において一般化性能を高める手法を用いることで、このようなプライバシー漏洩攻撃に対して耐性を持つDRL方策の設計に向けた知見を提供すること。

提案手法

• 状態空間と行動空間に制約を設けた条件下で、与えられたDRL方策の行動を再現する環境遷移動的特性を探索するための遺伝的アルゴリズムを提案。
• 既知の候補環境で訓練されたシャドウ方策を用いて、ターゲット方策がどの環境で訓練されたかを特定する候補推定フレームワークを導入。
• 方策のパフォーマンスを複数の候補動的特性に対して測定し、その結果を入力特徴として用いる線形サポートベクターマシン（SVM）分類器を採用。
• 異なる候補環境における方策ロールアウトを用いて、SVM分類器の入力特徴としてのパフォーマンスプロファイルを生成。
• 攻撃の汎用性を評価するため、離散的（Grid World）および連続制御（Hopper, Half-Cheetah, Bipedal Walker, TORCS）環境に攻撃を適用。
• ランダムシードの変化や環境の摂動を想定した条件下で攻撃を検証し、推定手法の耐性および一般化性能を評価。

実験結果

リサーチクエスチョン

• RQ1 攻撃者が、ブラックボックスアクセスのみを介して、訓練済みDRL方策から障害物の配置や地形構造といった元の環境動的特性を推定できるか。
• RQ2 方策の行動に基づいて、遺伝的アルゴリズムがGrid World環境の真の遷移動的特性をどの程度回復できるか。
• RQ3 シャドウ方策に基づく推定手法は、複数の候補動的特性の中から、DRL方策の訓練環境を正確に特定できるか。
• RQ4 摂動を加えた環境において方策が一般化する場合、プライバシー漏洩攻撃の成功確率にどのような影響を与えるか。
• RQ5 このようなプライバシー漏洩が、機微な環境データを含む実世界のDRL展開に及ぼす影響は何か。

主な発見

• 提案された遺伝的アルゴリズムは、ポリシー勾配法で訓練されたエージェントを用いて、平均95.83％の回復率で元のGrid World床面図を成功裏に回復した。
• 連続制御環境（Hopper, Half-Cheetah, Bipedal Walker）において、SVM分類を用いたパフォーマンスプロファイルに基づく候補推定手法が、訓練環境の特定において高い正確性を示した。
• TORCS自動運転シミュレータにおいても、候補動的特性間のパフォーマンス差が明確に現れ、訓練環境の正確な特定が可能であった。
• 異なるランダムシードおよび環境摂動の下でも攻撃が耐性を示しており、一般化性能を持つ方策ですら機微な情報を漏洩させる可能性があることが示された。
• PPO や DQN といった標準的なアルゴリズムで訓練されたDRL方策は、訓練環境の構造的詳細を記憶・暴露する可能性があり、顕著なプライバシーリスクをもたらすことが明らかになった。
• 摂動を加えた環境において一般化性能が強い方策は、このようなプライバシー攻撃に対してより耐性があることが判明し、プライバシーに配慮したDRL設計への道筋が示唆された。