[論文レビュー] Automatic Testing With Reusable Adversarial Agents

Xin Qin, Nikos Aréchiga+2 more|arXiv (Cornell University)|Oct 30, 2019

Reinforcement Learning in Robotics参考文献 32被引用数 9

ひとこと要約

本稿では、環境を制約付きの悪意あるエージェント（adoエージェント）としてモデル化することにより、再利用可能で強化学習に基づくフレームワークを提案する。信号時相論理（STL）を用いてシステムの動作と環境の制約を指定することで、訓練された悪意あるポリシーが再訓練を伴わずに、異なるエゴエージェントの初期条件や動的特性に一般化できる。

ABSTRACT

Autonomous systems such as self-driving cars and general-purpose robots are safety-critical systems that operate in highly uncertain and dynamic environments. We propose an interactive multi-agent framework where the system-under-design is modeled as an ego agent and its environment is modeled by a number of adversarial (ado) agents. For example, a self-driving car is an ego agent whose behavior is influenced by ado agents such as pedestrians, bicyclists, traffic lights, road geometry etc. Given a logical specification of the correct behavior of the ego agent, and a set of constraints that encode reasonable adversarial behavior, our framework reduces the adversarial testing problem to the problem of synthesizing controllers for (constrained) ado agents that cause the ego agent to violate its specifications. Specifically, we explore the use of tabular and deep reinforcement learning approaches for synthesizing adversarial agents. We show that ado agents trained in this fashion are better than traditional falsification or testing techniques because they can generalize to ego agents and environments that differ from the original ego agent. We demonstrate the efficacy of our technique on two real-world case studies from the domain of self-driving cars.

研究の動機と目的

• 安全でクリティカルなサイバー物理システムにおける非適応的かつ非一般化可能なテスト手法の限界を解消すること。
• 現実的な環境的制約のもとで、エゴエージェントの故障を引き起こす再利用可能な悪意あるエージェントの合成を可能にすること。
• 強化学習に基づく偽検証において手動の報酬設計を回避するため、仕様と制約を統合された報酬関数に直接組み込むこと。
• 訓練された悪意あるポリシーが異なるエゴエージェントの動的特性および初期条件に一般化できることを示し、反復的設計における再テストのオーバーヘッドを低減すること。

提案手法

• 設計対象システム（SUD）をエゴエージェントとしてモデル化し、その環境を学習済みポリシーで制御される悪意ある（ado）エージェントの集合として定式化する。
• 信号時相論理（STL）を用いて、エゴエージェントの望ましい動作と、adoエージェントの制約付き動作（例：速度制限、交通ルール）を形式的に指定する。
• STLのロバストネスによる仕様違反と制約の満たし方を統合した統合報酬関数を定式化し、ディープ強化学習によるエンドツーエンド訓練を可能にする。
• 表形式およびディープQラーニングを用いてadoエージェントを訓練し、エゴエージェントの仕様違反を引き起こす閉ループで反応的な悪意あるポリシーを合成する。
• 訓練済みの悪意あるポリシーを新しい初期条件およびシステム動的特性に適用し、一般化性と再利用性を評価する。
• モンテカルロツリー探索（MCTS）と価値関数近似を用いて、複雑なシナリオにおける探索と収束を改善する。

実験結果

リサーチクエスチョン

• RQ1 強化学習を用いて訓練された悪意あるエージェントは、再訓練を伴わずに、エゴエージェントの新しい初期条件および動的特性に一般化できるか？
• RQ2 統合された報酬関数にSTLに基づく仕様と制約を統合することで、悪意あるポリシー学習の性能と収束にどのような影響を与えるか？
• RQ3 動的制約付きの悪意あるエージェントは、従来の偽検証法や探索ベースのテストに比べ、多様で非自明な故障シナリオをどれほど効果的に発見できるか？
• RQ4 どのような条件下で、安全でクリティカルな自律システムにおける異なるシステム構成にわたって悪意あるポリシーが再利用可能になるか？

主な発見

• 訓練済みの悪意あるポリシーは、再訓練を伴わずに新しい初期条件およびシステム動的特性に一般化でき、異なるエゴエージェントの構成に再利用可能である。
• 本手法は、従来の非適応的偽検証手法では検出できない、自動運転車の事例において故障シナリオを効果的に同定した。
• STLでエンコードされた制約を備えた悪意あるエージェントは、制約なしまたは手作業で設計された報酬に基づく手法よりも、より現実的で非自明な故障誘発行動を生成した。
• 本手法は、固定された行動シーケンスを学習する探索ベースやブラックボックス偽検証よりも優れた一般化性能を達成しており、反応的で閉ループのポリシーを学習しているためである。
• 訓練中に以前に遭遇しなかった、エゴおよびadoエージェントの速度や距離の近接値を示す失敗初期状態が発見された。これは、効果的な探索が行われたことを示している。
• STLのロバストネスと制約に基づく統合報酬関数の使用により、手動の報酬設計の必要がなくなり、スケーラビリティと保守性が向上した。