[論文レビュー] Preventing Imitation Learning with Adversarial Policy Ensembles

Albert Zhan, Stas Tiomkin+1 more|arXiv (Cornell University)|Jan 31, 2020

Reinforcement Learning in Robotics参考文献 40被引用数 4

ひとこと要約

本稿では、外部の観察者による模倣学習に対して能動的に抵抗するように設計された、近似的に最適な方策の集合を訓練する、強化学習フレームワーク「Adversarial Policy Ensembles（APE）」を紹介する。方策勾配最適化を、アンサンブルの性能を最大化すると同時に、いかなるクローン方策の性能を最小化するように変更することで、APEはクローン方策の報酬を5倍以上低下させつつ、元のアンサンブルの性能をほぼ最適に維持する。

ABSTRACT

Imitation learning can reproduce policies by observing experts, which poses a problem regarding policy privacy. Policies, such as human, or policies on deployed robots, can all be cloned without consent from the owners. How can we protect against external observers cloning our proprietary policies? To answer this question we introduce a new reinforcement learning framework, where we train an ensemble of near-optimal policies, whose demonstrations are guaranteed to be useless for an external observer. We formulate this idea by a constrained optimization problem, where the objective is to improve proprietary policies, and at the same time deteriorate the virtual policy of an eventual external observer. We design a tractable algorithm to solve this new optimization problem by modifying the standard policy gradient algorithm. Our formulation can be interpreted in lenses of confidentiality and adversarial behaviour, which enables a broader perspective of this work. We demonstrate the existence of "non-clonable" ensembles, providing a solution to the above optimization problem, which is calculated by our modified policy gradient algorithm. To our knowledge, this is the first work regarding the protection of policies in Reinforcement Learning.

研究の動機と目的

• 強化学習におけるプライバシーの重要なギャップに対処し、機密方策が不正なクローンを受けるのを防ぐ。
• 熟練者のデモンストレーションが元の方策所有者には有用であるが、行動模倣を試みる外部観察者には無意味であることを保証する手法を開発する。
• 方策の性能を向上させるとともに、いかなる潜在的クローン方策の性能を低下させるという制約付き最適化問題を定式化する。
• 実用的にこのような敵対的方策アンサンブルを訓練できる、方策勾配に基づく取り扱いやすいアルゴリズムを設計する。
• 外部の観察者が多数のデータを収集しても、方策アンサンブルがクローン不能であるように設計可能であることを示す。

提案手法

• 制約付き最適化として問題を定式化：方策アンサンブルの期待報酬を最大化すると同時に、仮想のクローン方策の期待報酬を最小化する。
• アンサンブルのデモンストレーションから学習する仮想の観察者方策を導入し、模倣の最悪ケースをモデル化する。
• 標準の方策勾配アルゴリズムを変更し、アンサンブル方策だけでなく、観察者用の仮想方策の勾配推定も行えるようにする。
• モンテカルロサンプリングを用いて観察者方策の勾配を近似し、アンサンブルと観察者両方の性能を同時に最適化可能にする。
• 方策表現に文脈変数を組み込み、熟練者の個別的行動を推定できないようにすることで、観察者が個々の熟練者の行動を特定できないようにする。
• 離散的MDP環境でアルゴリズムを適用し、行動模倣に対して耐性を持つ方策アンサンブルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 行動模倣を試みる外部の観察者にとって、その集団的デモンストレーションが無意味となるような熟練方策の集合を設計することは可能か？
• RQ2 元の方策アンサンブルの高性能と、そのクローン方策の低性能を同時に最適化することは可能か？
• RQ3 方策勾配アルゴリズムをどのように拡張すれば、アンサンブルと仮想観察者方策の両方を微分可能かつ取り扱いやすい形で同時に最適化できるか？
• RQ4 提案手法を用いた場合、クローン方策の性能は元のアンサンブルと比べてどの程度低下するか？
• RQ5 本フレームワークは連続的状態空間や、クローン方策の「無意味さ」の定義を異なるものに拡張可能か？

主な発見

• 提案されたAPE手法は、近似的に最適な性能を達成すると同時に、クローン方策の性能を最適方策と比較して5倍以上低下させることが成功裏に達成された。
• 数値シミュレーションでは、アンサンブルとクローン方策の間で+0.07の性能差が得られ、クローン方策が元のアンサンブルと比べて著しく劣ることが示された。
• すべてのベースライン方策アンサンブルでは、アンサンブルとクローン方策の間で性能差がほとんど認められず、APEがクローン防止において特異的かつ有効であることが確認された。
• 観察者が多数のデモンストレーションを収集しても、本手法は有効であることが示され、データ豊富なクローン攻撃に対しても耐性があることが示された。
• 予備的な結果から、観察者がRNNのような強力な逐次モデルを用いる場合、敵対的効果が薄れることが示唆されており、高度な模倣戦略に対しては本手法の有効性に限界がある可能性がある。
• 報酬関数を代替的に定義することで、「無意味さ」の定義を期待報酬以外のものに拡張可能であり、敵対的行動のカスタマイズが可能である。