[論文レビュー] Automatic Testing and Falsification with Dynamically Constrained Reinforcement Learning

Xin Qin, Nikos Aréchiga+2 more|arXiv (Cornell University)|Oct 30, 2019

Formal Methods in Verification被引用数 16

ひとこと要約

本論文は、サイバー物理システム（例：自動運転車両）の自動テストおよび誤り検出のための敵対的エージェントを訓練するため、動的制約を組み込んだエージェント中心の強化学習フレームワークを提案する。制約は信号時相論理（STL）で表現される。この手法により、従来の誤り検出技術で検出可能なすべての危険行動を特定可能でありながら、階層的な交通ルールを尊重するモジュラーかつ再利用可能なエージェントが実現される。2つの自動車分野の事例で検証された。

ABSTRACT

We consider the problem of using reinforcement learning to train adversarial agents for automatic testing and falsification of cyberphysical systems, such as autonomous vehicles, robots, and airplanes. In order to produce useful agents, however, it is useful to be able to control the degree of adversariality by specifying rules that an agent must follow. For example, when testing an autonomous vehicle, it is useful to find maximally antagonistic traffic participants that obey traffic rules. We model dynamic constraints as hierarchically ordered rules expressed in Signal Temporal Logic, and show how these can be incorporated into an agent training process. We prove that our agent-centric approach is able to find all dangerous behaviors that can be found by traditional falsification techniques while producing modular and reusable agents. We demonstrate our approach on two case studies from the automotive domain.

研究の動機と目的

• サイバー物理システム（例：自動運転車両や航空機）の自動テストおよび誤り検出のための強化学習ベースの手法を開発すること。
• 信号時相論理（STL）を用いて階層的に順序付けられたルールとして動的制約を符号化することで、敵対的行動の制御を可能にすること。
• 訓練済みエージェントが従来の誤り検出技術で特定可能なすべての危険なシステム行動を発見することを保証すること。
• 交通ルールなどの現実的な運用制約を尊重するモジュラーかつ再利用可能なエージェントを生成すること。
• 複雑な交通シナリオを含む実世界の自動車分野の事例において、このアプローチを検証すること。

提案手法

• 動的制約を信号時相論理（STL）において階層的に順序付けられたルールとしてモデル化し、妥当な行動の構造的仕様を可能にする。
• STL制約を強化学習の訓練プロセスに統合し、実現可能で現実的な行動空間内でのエージェントの探索をガイドする。
• 各エージェントを最大限の敵対的行動を達成するように訓練するエージェント中心の訓練パラダイムを採用する。
• 制約違反に対してペナルティを与えるとともに、現実的でルール準拠の敵対的条件下でのシステム障害の発見を促進する報酬関数を設計する。
• 訓練中に重要な安全ルールが常に遵守されるよう、階層的なルール強制を導入する。
• STLに基づく報酬形状と制約強制によってガイドされる方策最適化を用いて、エンドツーエンドでエージェントを訓練する。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、現実的でルールに基づいた制約を尊重しながら、サイバー物理システムにおける危険行動を発見できるか？
• RQ2 階層的な信号時相論理（STL）制約を組み込むことで、敵対的テストエージェントの有効性と安全性はどのように変化するか？
• RQ3 提案されたエージェント中心のアプローチは、従来の誤り検出技術と同等の故障モードカバレッジを達成できるか？
• RQ4 訓練済みエージェントは、異なるテストシナリオ間でどの程度モジュラーかつ再利用可能か？
• RQ5 動的制約付きエージェントは、制約なしの敵対的エージェントと比較して、現実性とテストカバレッジの両面で優れているか？

主な発見

• 提案手法は、従来の誤り検出技術で検出可能なすべての危険行動を効果的に発見し、完全なカバレッジを確保した。
• STL制約付きで訓練されたエージェントは、現実的でルール準拠の敵対的行動を生成し、妥当な交通シナリオを模倣する。
• 制約の階層的強制により、訓練中であっても重要な安全ルールが一切違反されないことが保証された。
• エージェント中心の設計により、異なるテストシナリオやシステム構成にわたるモularityと再利用性が実現された。
• 2つの自動車分野の事例で検証されたように、運用の現実性を保ちながら効果的なテストカバレッジを達成した。
• STL制約を強化学習の訓練ループに統合することで、スケーラブルかつ検証可能なサイバー物理システムの敵対的テストが可能になった。