[論文レビュー] Neurosymbolic Reinforcement Learning with Formally Verified Exploration

Greg Anderson, Abhinav Verma+2 more|arXiv (Cornell University)|Sep 26, 2020

Adversarial Robustness in Machine Learning参考文献 28被引用数 14

ひとこと要約

Revelは、ニューラル方策学習と記号的検証済みのセーフティシールドを組み合わせることで、連続的状態空間および行動空間における形式的検証済み探索を可能にする神経記号的強化学習フレームワークです。それは神経記号的方策上でのミラー降下を用い、神経ネットワークを直接検証せずに、記号的およびニューラルコンポONENT間を安全に変換・投影します。これにより、従来の手法（例：制約付き方策最適化）よりも安全で、より高い性能が達成されます。

ABSTRACT

We present Revel, a partially neural reinforcement learning (RL) framework for provably safe exploration in continuous state and action spaces. A key challenge for provably safe deep RL is that repeatedly verifying neural networks within a learning loop is computationally infeasible. We address this challenge using two policy classes: a general, neurosymbolic class with approximate gradients and a more restricted class of symbolic policies that allows efficient verification. Our learning algorithm is a mirror descent over policies: in each iteration, it safely lifts a symbolic policy into the neurosymbolic space, performs safe gradient updates to the resulting policy, and projects the updated policy into the safe symbolic subset, all without requiring explicit verification of neural networks. Our empirical results show that Revel enforces safe exploration in many scenarios in which Constrained Policy Optimization does not, and that it can discover policies that outperform those learned through prior approaches to verified exploration.

研究の動機と目的

• ニューラルネットワークの検証が計算的に非現実的である連続的制御環境において、形式的検証済みの安全な探索を達成すること。
• 現代のポリシー勾配法を用いた安全なディープ強化学習を実現しつつ、最悪ケースの安全性保証を維持すること。
• 複雑な環境において不必要に探索を制限する静的セーフティシールドの限界を克服すること。
• 訓練中にセーフティモニターやシールドを動的に更新する学習フレームワークを開発し、ポリシーの性能を向上させること。
• 神経記号的方策表現と形式的検証を組み合わせ、安全でスケーラブルな安全な強化学習を、安全が重要な応用分野に適用すること。

提案手法

• Revelは神経記号的方策表現を用いる：セーフティのための記号的シールドと、方策最適化のためのニューラルコンponent。
• 神経記号的方策空間におけるミラー降下を実行し、持ち上げ、更新、投影のステップを交互に繰り返す。
• 学習アルゴリズムは安全に記号的シールドをニューラル方策空間に持ち上げ、近似的な勾配更新を適用し、再び安全な記号的空間に投影する。
• 投影ステップでは模倣学習を用い、安全性を保持する。これにより、ニューラルネットワークの直接的検証を回避する。
• フレームワークは形式的検証器に依存し、効率的に検証可能な記号的シールドを検証する。訓練中はニューラルコンponentは検証されない。
• 検証のために閉形式の最悪ケースダイナミクスモデル $P^\#$ を仮定し、敵対的環境挙動下でもすべての行動が安全であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラル方策を用いて連続的制御タスクにおける形式的検証済み探索を達成できるか。その際、検証コストが著しく高くなることはないか？
• RQ2 学習中にセーフティシールドを動的に改善することで、静的シールドの性能制限を回避できるか？
• RQ3 神経記号的方策表現は、効率的な勾配ベースの学習と、安全制約の効率的検証の両方を可能にするか？
• RQ4 神経記号的方策空間におけるミラー降下ベースの学習アルゴリズムは、従来の制約付き強化学習手法に比べ、より安全で高性能な方策を導くか？
• RQ5 動的シールドは、静的または確率的セーフティアプローチと比較して、連続的行動空間における探索効率と安全性をどの程度向上できるか？

主な発見

• Revelは、制約付き方策最適化（CPO）が訓練中に安全でない行動を取るために失敗する連続的制御環境でも、安全な探索を強制する。
• フレームワークは、特に迅速な応答や正確な制御が求められる状況において、静的セーフティシールドで学習された方策よりも優れた方策を発見する。
• 障害物2（obstacle2）およびacc（アダプティブクルーズコントロール）環境では、Revelのポリシーは安全に先行車両とのギャップを詰め、衝突を回避する。これに対してCPOのポリシーは、遅延または不十分な減速により衝突する。
• この手法により、繰り返しニューラルネットワークの検証を回避し、効率的な記号的検証によるシールドに依存することで、複雑なドメインへのスケーラビリティが実現される。
• 実験的結果から、Revelの動的シールドメカニズムは、最悪ケースの安全性を維持しながら、より攻撃的かつ効果的な探索を可能にすることが示された。
• 理論的分析により、神経記号的方策空間におけるミラー降下ベースの学習アルゴリズムに収束保証が確認された。