[論文レビュー] Towards Scalable Verification of Deep Reinforcement Learning

Guy Amir, Michael Schapira+1 more|arXiv (Cornell University)|May 25, 2021

Reinforcement Learning in Robotics参考文献 46被引用数 8

ひとこと要約

この論文は、k-帰納法と半自動的不変式推論を用いて、複雑な安全性およびライブネス特性を証明するスケーラブルな検証フレームワークである whiRL 2.0 を紹介する。実世界の通信ネットワークシステムにおける実効性が示され、従来のツールでは不可能であった特性の証明に成功するとともに、DRLポリシーに内在する根本的なバイアスを特定した。

ABSTRACT

Deep neural networks (DNNs) have gained significant popularity in recent years, becoming the state of the art in a variety of domains. In particular, deep reinforcement learning (DRL) has recently been employed to train DNNs that realize control policies for various types of real-world systems. In this work, we present the whiRL 2.0 tool, which implements a new approach for verifying complex properties of interest for DRL systems. To demonstrate the benefits of whiRL 2.0, we apply it to case studies from the communication networks domain that have recently been used to motivate formal verification of DRL systems, and which exhibit characteristics that are conducive for scalable verification. We propose techniques for performing k-induction and semi-automated invariant inference on such systems, and leverage these techniques for proving safety and liveness properties that were previously impossible to verify due to the scalability barriers of prior approaches. Furthermore, we show how our proposed techniques provide insights into the inner workings and the generalizability of DRL systems. whiRL 2.0 is publicly available online.

研究の動機と目的

• 従来のDNNおよびDRL検証ツールが、長時間または無限の実行において特性を証明できないというスケーラビリティの制限を解消すること。
• 特に通信ネットワークにおいて、実世界のDRLシステムにおける複雑な安全性およびライブネス特性の形式的検証を可能にすること。
• 自動的に不変式を発見・検証することで、DRLエージェントが学習したポリシーに関する洞察を提供すること。
• 従来の whiRL 1.0 ツールのカウンターアウト生成機能を超えて、意味のあるシステム特性の証明構築を可能にすること。
• 形式的検証が、DRLポリシーにおける根本的な欠陥、例えば劣悪な行動への系統的バイアスを露呈できることを示すこと。

提案手法

• 未展開のシステム実行に対してk-帰納法を適用し、不変式を検証することで、複数ステップにわたるライブネスおよび安全性特性の証明を可能にする。
• 複雑な特性の検証を簡素化・高速化するため、半自動的不変式推論を導入する。
• 状態空間の複雑さを低減し、特に高次元の入出力に対してスケーラビリティを向上させるための抽象化技術を用いる。
• 個々のDNN推論ステップの検証に、ブラックボックスDNN検証ツール（Marabou）をバックエンドとして統合する。
• 境界付きモデルチェックと反復的精錬を組み合わせることで、DRLシステムにおける逐次的意思決定を扱う。
• クエリ抽象化を活用して、入力分布全体にわたる検証結果を一般化し、再利用性と洞察の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 k-帰納法と不変式推論は、深層強化学習システムにおける安全性およびライブネス特性の検証に効果的に適用可能か？
• RQ2 提案手法は、従来のツールでは処理不可能であった、複雑な実世界のDRLシステム（通信ネットワーク分野）の検証にスケーラブルに適用可能か？
• RQ3 形式的検証は、DRLエージェントが学習したポリシーに内在する構造的バイアスや欠陥をどの程度露呈できるか？
• RQ4 抽象化と不変式推論は、高次元の状態空間および行動空間を持つDRLシステムにおける検証負荷をどの程度軽減できるか？
• RQ5 検証プロセスは、特性の検証を越えて、ポリシーの一般化や失敗モードの理解といった洞察を提供できるか？

主な発見

• whiRL 2.0 は、DeepRM に対して、以前に研究された3つの特性を包含するより強力で一般化された特性を正当に証明した。これにより、複雑な不変式の検証能力が裏付けられた。
• このツールは、DeepRM がリソース利用状況に関係なく、常にジョブ #2 のスケジューリングを優先する系統的バイアスを特定した。これは、従来の反例の原因を説明し、特性2および3の無効性を示した。
• whiRL 2.0 は、特性2および3の逆が常に成り立つことを証明した。これにより、学習済みDRLポリシーが当該シナリオにおいて根本的に非最適であることが確認された。
• フレームワークは、Aurora, Pensieve, および DeepRM における特性検証を数秒で完了した。一方、従来のツールはスケーラビリティの制限により、正しさの証明に失敗していた。
• whiRL 2.0 の抽象化機能により、DRLシステムの挙動に関する可視性が得られ、従来検出できなかったポリシーのバイアスが明らかになった。
• 結果として、whiRL 2.0 を用いた形式的検証は、単なる特性検証を越えて、DRLポリシーに内在する深刻な構造的欠陥を露呈できることを示した。