[論文レビュー] A Search-Based Testing Approach for Deep Reinforcement Learning Agents

Amirhossein Zolfagharian, Manel Abdellatif+3 more|arXiv (Cornell University)|Jun 15, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、深層強化学習（DRL）エージェントの機能的欠陥を効率的に検出するために、機械学習モデルによってガイドされた遺伝的アルゴリズムを用いた検索ベースのテスト手法STARLAを提案する。状態の抽象化を適用することで状態空間の複雑さを低減し、限られたテスト予算のもとでランダムテストよりも効果的に失敗エピソードを特定する。

ABSTRACT

Deep Reinforcement Learning (DRL) algorithms have been increasingly employed during the last decade to solve various decision-making problems such as autonomous driving and robotics. However, these algorithms have faced great challenges when deployed in safety-critical environments since they often exhibit erroneous behaviors that can lead to potentially critical errors. One way to assess the safety of DRL agents is to test them to detect possible faults leading to critical failures during their execution. This raises the question of how we can efficiently test DRL policies to ensure their correctness and adherence to safety requirements. Most existing works on testing DRL agents use adversarial attacks that perturb states or actions of the agent. However, such attacks often lead to unrealistic states of the environment. Their main goal is to test the robustness of DRL agents rather than testing the compliance of agents' policies with respect to requirements. Due to the huge state space of DRL environments, the high cost of test execution, and the black-box nature of DRL algorithms, the exhaustive testing of DRL agents is impossible. In this paper, we propose a Search-based Testing Approach of Reinforcement Learning Agents (STARLA) to test the policy of a DRL agent by effectively searching for failing executions of the agent within a limited testing budget. We use machine learning models and a dedicated genetic algorithm to narrow the search towards faulty episodes. We apply STARLA on Deep-Q-Learning agents which are widely used as benchmarks and show that it significantly outperforms Random Testing by detecting more faults related to the agent's policy. We also investigate how to extract rules that characterize faulty episodes of the DRL agent using our search results. Such rules can be used to understand the conditions under which the agent fails and thus assess its deployment risks.

研究の動機と目的

• 安全性が求められる環境におけるDRLエージェントのテストの課題に対処すること。ここでの機能的欠陥は深刻な障害を引き起こす可能性がある。
• 現存する敵対的テスト手法の限界を克服すること。これらの手法は現実的でない状態を生成し、ロバストネスに注目するが、ポリシー準拠性には焦点を当てない。
• 内部モデルへのアクセスを必要とせず、ブラックボックスで動作する効率的なテスト手法を開発することにより、DRLポリシーの機能的欠陥を検出すること。
• 失敗エピソードを特徴付ける解釈可能なルールの抽出を可能にし、リスク評価とポリシー改善を支援すること。
• 状態の抽象化と機械学習ガイド付きの遺伝的探索を用いて探索空間を狭め、テストコストを削減すること。

提案手法

• 機能的欠陥を引き起こしやすい状態と行動のシーケンスを進化させるために、専用の遺伝的アルゴリズムが用いられる。
• 与えられたエピソードが故障しているかどうかを予測するための機械学習モデルを訓練し、遺伝的アルゴリズムが故障確率の高い状態空間領域へと誘導する。
• 類似した状態をグループ化するための状態抽象化技術が適用され、状態空間の次元を低減し、モデルの学習性を向上させる。
• データボックステストパラダイムに従い、内部モデルパラメータや学習データではなく、環境とエージェントポリシーへのアクセスのみを必要とする。
• 抽象化された状態空間に基づいて、探索効率と収束性を向上させるためにカスタマイズされた遺伝的演算子が設計される。
• 失敗エピソードが分析され、エージェントが失敗する条件を記述する解釈可能なルールが抽出される。

実験結果

リサーチクエスチョン

• RQ1 限られたテスト予算のもとで、検索ベースのアプローチがランダムテストを上回り、DRLエージェントの機能的欠陥を効果的に検出できるか？
• RQ2 状態の抽象化は、故障検出能力を保持したまま状態空間をどれだけ低減できるか？
• RQ3 エピソード特徴量に基づいて訓練された機械学習モデルは、故障エピソードへと遺伝的探索を効果的に誘導できるか？
• RQ4 検索結果から、DRLエージェントの失敗条件を特徴付ける解釈可能なルールはどのようなものか？
• RQ5 同定された失敗エピソードは、再訓練によってエージェントのポリシーを改善するためにどれほど活用できるか？

主な発見

• STARLAは、同じテスト予算のもとでランダムテストよりも顕著に多くの機能的欠陥を検出しており、欠陥発見における優れた効率性を示した。
• 状態の抽象化の適用により状態空間の複雑さが低減され、故障予測モデルのより効果的な訓練と探索収束の向上が達成された。
• エピソード特徴量に基づいて訓練された機械学習モデルは、遺伝的アルゴリズムを故障確率の高い領域へと的確に誘導し、失敗エピソードの特定確率を向上させた。
• 失敗エピソードから解釈可能なルールが効果的に抽出され、エージェントが失敗する特定の環境的・状態的条件が明らかになった。
• 特に希少だが深刻な障害モードを示す環境では、ベースラインのランダムテストに比べ、故障検出率と探索効率の両面で本手法が優れた性能を示した。
• 結果から、同定された失敗エピソードは、エージェントのポリシーのロバストネスと安全性を向上させるための再訓練に貴重な資産である可能性があると示唆された。