[論文レビュー] Black-Box Safety Validation of Autonomous Systems: A Multi-Fidelity Reinforcement Learning Approach

Jared Beard, Ali Baheri|arXiv (Cornell University)|Mar 7, 2022

Software Reliability and Analysis Research被引用数 4

ひとこと要約

本論文は、モデル知識（『知っているのは何がわかっているか』（KWIK）フレームワークを介して）を意思決定に統合することで、自律システムの安全性検証を向上させる、多忠度強化学習手法MF-RL-falsifyを提案する。低・高忠度シミュレータ間で双方向の知識伝達を可能にし、知識に基づく探索を実施することで、単一忠度手法に比べて1サンプルあたり最大6倍の故障発見効率を達成し、高忠度シミュレーションの使用を最小限に抑えつつ初期段階の探索性能も向上させる。

ABSTRACT

The increasing use of autonomous and semi-autonomous agents in society has made it crucial to validate their safety. However, the complex scenarios in which they are used may make formal verification impossible. To address this challenge, simulation-based safety validation is employed to test the complex system. Recent approaches using reinforcement learning are prone to excessive exploitation of known failures and a lack of coverage in the space of failures. To address this limitation, a type of Markov decision process called the "knowledge MDP" has been defined. This approach takes into account both the learned model and its metadata, such as sample counts, in estimating the system's knowledge through the "knows what it knows" framework. A novel algorithm that extends bidirectional learning to multiple fidelities of simulators has been developed to solve the safety validation problem. The effectiveness of this approach is demonstrated through a case study in which an adversary is trained to intercept a test model in a grid-world environment. Monte Carlo trials compare the sample efficiency of the proposed algorithm to learning with a single-fidelity simulator and show the importance of incorporating knowledge about learned models into the decision-making process.

研究の動機と目的

• 単一忠度強化学習の限界を是正すること。特に、まれな故障が見逃されやすく、高忠度シミュレーションが計算的に高コストである点を改善する。
• 双方向学習フレームワークを用いて複数のシミュレータ忠度を活用することで、故障発見におけるサンプル効率を向上させること。
• 『知っているのは何がわかっているか』（KWIK）フレームワークを用いて、サンプル数や不確実性などのモデル知識を意思決定プロセスに統合すること。
• 高忠度シミュレーションへの依存を減らしながら、知識誘導型探索によって故障カバレッジを最大化すること。
• 標準の単一忠度手法を上回る、スケーラブルで知識を補完する強化学習アルゴリズムを開発し、初期段階および包括的な故障検出において優れた性能を発揮すること。

提案手法

• システムのダイナミクスとエージェントのモデルに関する知識（例：サンプル数などのメタデータを含む）を明示的にモデル化する新規な知識マークフ・意思決定過程（KMDP）を導入する。
• 低忠度から高忠度シミュレータ、およびその逆方向への双方向学習メカニズムを採用し、サンプル効率を向上させる。
• 『知っているのは何がわかっているか』（KWIK）フレームワークを用いてモデルの不確実性を推定し、探索を誘導することで、早期収束を防ぐ。
• 1サンプルあたりの知識獲得量に基づくマージナル更新メカニズムを適用し、特にモデル推定が未十分にサンプルされた領域で効果的な動的探索を実現する。
• 価値反復法を用いてKMDPを解き、高忠度シミュレーション使用量を最小限に抑える敵対的方策を最適化する。
• マルコフ連鎖モンテカルロ試行を実施し、故障発見率やサンプル効率などの複数の指標において、多忠度手法（MF-RL-falsify）と単一忠度ベースラインを比較する。

実験結果

リサーチクエスチョン

• RQ1 KWIKフレームワークによるモデル知識の統合は、多忠度安全性検証における探索と故障発見にどのように寄与するか？
• RQ2 低・高忠度シミュレータ間の双方向知識伝達は、サンプル効率と故障カバレッジにどのような影響を及えるか？
• RQ3 マージナル更新メカニズムは、学習の初期段階および収束段階において探索にどのように影響を与えるか？
• RQ4 MF-RL-falsifyアルゴリズムは、故障検出性能を維持または向上させながら、必要な高忠度サンプル数をどの程度削減できるか？
• RQ5 特に初期学習段階において、多忠度アプローチは単一忠度強化学習に比べて、1サンプルあたりの故障発見にどの程度優れているか？

主な発見

• MF-RL-falsifyアルゴリズムは、単一忠度ベースラインに比べ、初期学習段階で最大6倍の故障発見効率を達成する。
• 収束に必要な高忠度対低忠度サンプルの比率は0.4未満であり、高忠度シミュレーション使用量が顕著に削減されていることが示された。
• R_inc = 5のマージナルアップデートにより、高忠度サンプルの使用を最小限に抑えながらも、故障発見率が最大15%向上し、未十分にサンプルされた領域での探索が強化された。
• 多忠度アプローチは単一忠度手法よりもはるかに早期に故障を発見するが、後者では初期段階の高忠度サンプルが生産的でない探索に無駄に使われていた。
• 収束後は両手法のサンプル蓄積速度は類似しているが、学習プロセス全体を通じてMFアプローチは故障発見効率に顕著な優位性を維持する。
• 知識に基づく更新の導入により、早期収束が抑制され、特に複雑またはまれな故障シナリオにおいて探索が継続される。