[論文レビュー] Falsification-Based Robust Adversarial Reinforcement Learning

Xiao Wang, Saasha Nair+1 more|arXiv (Cornell University)|Jul 1, 2020

Adversarial Robustness in Machine Learning参考文献 46被引用数 4

ひとこと要約

本稿では、手動で設計された報酬関数を必要とせず、時間論理に基づく安全性の裏付け検証を統合して、敵対的訓練シナリオを自動生成する、Falsification-Based Robust Adversarial Reinforcement Learning (FRARL) という新規フレームワークを提案する。メトリック時相論理（MTL）仕様を用いて安全性に重要なシナリオを探索するように導くことで、FRARLは強化学習（RL）ポリシーがより頑健になり、HighD やランダムなドライブシナリオなどの未観測のテスト環境でも、安全制約に違反する頻度を顕著に低減する。

ABSTRACT

Reinforcement learning (RL) has achieved enormous progress in solving various sequential decision-making problems, such as control tasks in robotics. Since policies are overfitted to training environments, RL methods have often failed to be generalized to safety-critical test scenarios. Robust adversarial RL (RARL) was previously proposed to train an adversarial network that applies disturbances to a system, which improves the robustness in test scenarios. However, an issue of neural network-based adversaries is that integrating system requirements without handcrafting sophisticated reward signals are difficult. Safety falsification methods allow one to find a set of initial conditions and an input sequence, such that the system violates a given property formulated in temporal logic. In this paper, we propose falsification-based RARL (FRARL): this is the first generic framework for integrating temporal logic falsification in adversarial learning to improve policy robustness. By applying our falsification method, we do not need to construct an extra reward function for the adversary. Moreover, we evaluate our approach on a braking assistance system and an adaptive cruise control system of autonomous vehicles. Our experimental results demonstrate that policies trained with a falsification-based adversary generalize better and show less violation of the safety specification in test scenarios than those trained without an adversary or with an adversarial network.

研究の動機と目的

• 安全性が求められる実世界の環境、特に自動運転において、強化学習（RL）ポリシーの一般化失敗を解決すること。
• 安全性に重要な行動を標的とする敵対的RLエージェントのための有効な報酬関数を設計する難しさを克服すること。
• 特に時間論理の裏付け検証を含む形式的検証技術を敵対的RLに統合し、自動的に挑戦的で安全性に反するシナリオを生成すること。
• ランダムまたはヒューリスティックな敵対的入力ではなく、裏付け検証によって得られた安全性に反するシナリオに対して訓練することで、ポリシーの頑健性を向上させること。
• 裏付け検証に基づく敵対的シナリオで訓練されたポリシーが、標準的またはRARLベースの訓練と比較して、より良い一般化性能を示し、安全制約に違反する頻度が低減することを実証すること。

提案手法

• システムの動作に関する形式的仕様を定義するために、メトリック時相論理（MTL）を用いて安全性要件を定式化する。
• システムがMTL仕様に違反するような初期状態および入力シーケンスを自動的に探索するため、安全性の裏付け検証手法を適用する。
• 裏付け検証によって得られたシナリオを、敵対的訓練データとしてRLエージェントに提供するが、敵対的エージェント用に別個の報酬関数を必要としない。
• Proximal Policy Optimization (PPO) を用いて、裏付け検証済みのテストケースが組み込まれた環境でRLポリシーを訓練する。
• 訓練の反復中に裏付け検証エンジンを統合し、継続的により困難な安全性に反するシナリオを生成する。
• 未観測のテストシナリオ、特にHighDおよびランダムに抽出された走行状態を含む、訓練済みポリシーを評価し、頑健性および安全遵守度を測定する。

実験結果

リサーチクエスチョン

• RQ1 時間論理に基づく裏付け検証を用いて、手動で設計された報酬関数を必要とせずに、RLのための敵対的訓練シナリオを効果的に生成できるか？
• RQ2 裏付け検証によって得られた安全性に反するシナリオに対してRLポリシーを訓練することで、標準的またはRARLベースの訓練と比較して、未観測のテスト環境における一般化性能が向上するか？
• RQ3 提案されたFRARLフレームワークは、自動運転車両システムにおける安全距離や逆走などの安全制約に違反する頻度をどの程度低減できるか？
• RQ4 HighDおよびランダムなテストシナリオにおいて、FRARLの性能はPPOおよびRARLと比較して、エピソード報酬および安全違反レートの観点でどの程度優れているか？
• RQ5 報酬最大化に依存する従来の敵対的RL手法と比較して、裏付け検証に基づく敵対的エージェントは、より深刻な失敗モードを発見できるか？

主な発見

• ブレーキアシストシステムにおいて、FRARLはHighDテストシナリオで衝突率0%、逆走率0.015%を達成し、RARL（2.70%衝突、0.009%逆走）およびPPO（4.59%衝突、0.34%逆走）を上回った。
• ランダムなテストシナリオにおいて、FRARLはACCで衝突率0.025%、BAで0.0018%に低減したが、それぞれRARL（3.59%、6.05%）およびPPO（3.59%、6.05%）と比較して顕著に低減した。
• ブレーキアシストシステムにおいて、FRARLは訓練ステップの半分でエピソード報酬が0に収束した。これは、より速い学習とより優れたポリシー安定性を示している。
• FRARLは、すべてのテストシナリオにおいてエピソード報酬および安全距離違反の分散が低く、より一貫性のあるポリシー性能を示した。
• FRARLは優れた一般化性能を示し、ランダムなテストシナリオではHighDよりもより大きな性能向上を達成した。これは、裏付け検証されたシナリオが、未観測の失敗モードをより効果的に露呈し、それらに対する訓練を可能にしていることを示している。
• この手法により、ACCおよびBAの両システムにおいて、ランダムなテストシナリオで逆走および衝突に近いイベントが完全に排除され、FRARL下での逆走および衝突違反率は0%となった。