[論文レビュー] Online Robust Policy Learning in the Presence of Unknown Adversaries

Aaron Havens, Zhanhong Jiang+1 more|arXiv (Cornell University)|Jul 16, 2018

Adversarial Robustness in Machine Learning被引用数 23

ひとこと要約

本稿では、深層強化学習における攻撃的状態入力攻撃に対するオンラインで、攻撃モデルに依存しない緩和手法として、メタ学習された利得階層（MLAH）フレームワークを提案する。攻撃検出に利得関数の差を用いるマスターエージェントが指揮する別個のノーマル状態および攻撃的状態用サブポリシーを学習することで、MLAHは、頻繁または長期間にわたる攻撃下でも、最先端の手法に比べて顕著に低いポリシーのバイアスを達成する。

ABSTRACT

The growing prospect of deep reinforcement learning (DRL) being used in cyber-physical systems has raised concerns around safety and robustness of autonomous agents. Recent work on generating adversarial attacks have shown that it is computationally feasible for a bad actor to fool a DRL policy into behaving sub optimally. Although certain adversarial attacks with specific attack models have been addressed, most studies are only interested in off-line optimization in the data space (e.g., example fitting, distillation). This paper introduces a Meta-Learned Advantage Hierarchy (MLAH) framework that is attack model-agnostic and more suited to reinforcement learning, via handling the attacks in the decision space (as opposed to data space) and directly mitigating learned bias introduced by the adversary. In MLAH, we learn separate sub-policies (nominal and adversarial) in an online manner, as guided by a supervisory master agent that detects the presence of the adversary by leveraging the advantage function for the sub-policies. We demonstrate that the proposed algorithm enables policy learning with significantly lower bias as compared to the state-of-the-art policy learning approaches even in the presence of heavy state information attacks. We present algorithm analysis and simulation results using popular OpenAI Gym environments.

研究の動機と目的

• 未知で適応的な敵対的攻撃者が状態入力を汚染する状況において、オンラインでのロバストネスという重要な課題に取り組む。
• 攻撃戦略の進化に即時に適応できない、従来のオフラインで攻撃に特化した防御手法の限界を克服する。
• オンライン学習中に生じる攻撃的状態摂動によるポリシーのバイアスを緩和する汎用的かつ攻撃モデルに依存しないフレームワークを構築する。
• 時間的利得関数の差を活用して、ポリシー選択を指揮することで、敵対的影響のリアルタイム検出と緩和を可能にする。
• 階層的でメタ学習されたサブポリシーのマッピングにより、断続的または長期間の敵対的攻撃下でも報酬の安定性とポリシー性能を向上させる。

提案手法

• マスターエージェントがノーマル状態用と攻撃的状態用の2つのサブポリシーの間で選択を行う階層的メタラーニングフレームワーク（MLAH）を導入する。
• リアルタイムでの攻撃検出に、サブポリシー間の利得関数の差を主な信号として用いる。
• 信頼領域ポリシー最適化（TRPO）またはPPOの変種を用いてサブポリシーをオンラインで学習し、マスターエージェントが利得の観測に基づいて動的にポリシーを切り替える。
• 訪問頻度の推定値を用いて報酬の悲観的下限を定式化することで、非定常な状態分布下でのロバストネスを向上させる。
• OpenAI Gym環境（例：InvertedPendulum-v2、MountainCarContinuous-v0）にフレームワークを実装し、制御された敵対的条件下での性能を検証する。
• マスターエージェントとサブポリシーが共最適化するEMスタイルの学習プロセスを活用し、利得推定とポリシー選択の正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 攻撃モデルの事前知識がなくても、メタ学習された階層的ポリシー枠組みはリアルタイムで攻撃的状態攻撃を検出できるか？
• RQ2 断続的または長期間の攻撃下において、別個のノーマルおよび攻撃的サブポリシーのアプローチは、単一ポリシーと比較して報酬バイアスと安定性にどのように差をつけるか？
• RQ3 利得関数の差が、リアルタイムでの敵対的状態摂動の検出に信頼できる信号として機能する程度はどの程度か？
• RQ4 攻撃者が戦略を変更しても、MLAHフレームワークは低バイアスのポリシーと高い報酬性能を維持できるか？
• RQ5 明示的な状態摂動ラベルがなくとも、マスターエージェントは利得観測に基づいて正しいポリシー（ノーマルまたは攻撃的）を信頼性高く選択できるか？

主な発見

• PPOなどの最先端の手法に比べ、特に重度または長期間の状態入力攻撃下でも、MLAHは顕著に低いポリシーのバイアスを実現する。
• 断続的攻撃（例：5000回オン、10000回オフ）が発生する環境では、MLAHはほぼバイアスのない評価報酬を維持するが、単一ポリシーのエージェントは両条件の最適化に失敗する。
• 攻撃期間とノーマル期間が均衡している場合（m = n）でも、MLAHは理論的期待値に近い報酬性能を達成し、ロバストネスと安定性を示す。
• マスターエージェントは、どの状態が摂動されているかを明示的に知らなくても、利得関数の差に基づいてポリシーを切り替えることを学習した。
• InvertedPendulum-v2およびMountainCarContinuous-v0におけるシミュレーション結果から、MLAHは報酬とポリシーの一貫性において、ヴァニラおよびPPOベースラインを上回ることを示した。
• 攻撃者が強い存在感を示す状況でも、何もない状態から学習できる能力が、動的で現実に近い環境下での適応性とレジリエンスを示している。