[論文レビュー] Formal Language Constraints for Markov Decision Processes

Eleanor Quint, Dong Xu+3 more|arXiv (Cornell University)|Oct 2, 2019

Formal Methods in Verification参考文献 53被引用数 4

ひとこと要約

本稿では、有限オートマトンを用いて安全制約を効率的にランタイム検証可能にする形式的言語ベースのフレームワークを提案する。マルコフ決定過程（MDP）の状態に制約オートマトンの状態を統合することで、学習された密度の高いコスト関数とアクション形状を適用し、探索中に制約違反を著しく低減するとともに、MuJoCo、Safety Gym、Atari環境においてサンプル効率と最終的な性能を向上させる。

ABSTRACT

In order to satisfy safety conditions, an agent may be constrained from acting freely. A safe controller can be designed a priori if an environment is well understood, but not when learning is employed. In particular, reinforcement learned (RL) controllers require exploration, which can be hazardous in safety critical situations. We study the benefits of giving structure to the constraints of a constrained Markov decision process by specifying them in formal languages as a step towards using safety methods from software engineering and controller synthesis. We instantiate these constraints as finite automata to efficiently recognise constraint violations. Constraint states are then used to augment the underlying MDP state and to learn a dense cost function, easing the problem of quickly learning joint MDP/constraint dynamics. We empirically evaluate the effect of these methods on training a variety of RL algorithms over several constraints specified in Safety Gym, MuJoCo, and Atari environments.

研究の動機と目的

• 探索中の安全性を保証する課題に取り組む。特に、制御不能な探索が危険な行動を引き起こす可能性があるためである。
• 正規言語や有限オートマトンといった、よく理解された形式的言語を用いて制約を表現することで、安全特性の形式的検証を可能にする。
• 制約を構造化して探索を誘導し、制約違反を低減することで、サンプル効率と学習安定性を向上させる。
• 事前の解析的制限や事後処理によるシャーディングに依存せずに、安全制約を強化学習の学習に統合する。
• 形式的言語による制約が、訓練中に効率的に認識され、報酬とアクションの形状に利用可能であることを実証する。

提案手法

• 形式的言語による制約は、有効な軌道を認識する有限オートマトンを用いて定義され、安全条件の効率的なランタイム検証を可能にする。
• 制約オートマトンの現在の状態をMDP状態に統合することで、連合MDP／制約状態空間を構築し、連合ダイナミクスの学習を改善する。
• 学習された報酬形状関数を用いてスパarsな報酬信号から密度の高いコスト関数を学習し、訓練中のスムーズな責任帰属を実現する。
• 制約違反を引き起こさないアクションのみを動的に制限することで、アクション形状を適用し、探索中の安全性を保証する。
• 標準的な強化学習アルゴリズム（例：DQN、SAC）と統合可能であり、ハード制約（アクションフィルタリング）とソフト制約（報酬形状）の両方をサポートする。
• 制約は正規表現を用いて指定され、例えば $(\ell r)^2 \mid (r\ell)^2$ のように、Atari や MuJoCo におけるディザリングなどの時間的パターンを符号化する。

実験結果

リサーチクエスチョン

• RQ1 有限オートマトンとして表現された形式的言語制約は、強化学習エージェントの探索段階における安全性とサンプル効率を向上させるか？
• RQ2 MDP状態に制約オートマトン状態を統合することで、学習収束性と制約違反率にどのような影響を与えるか？
• RQ3 学習された密度の高いコスト関数は、スパarsな報酬信号に比べて、制約付き強化学習の性能にどの程度向上効果をもたらすか？
• RQ4 制約構造に基づく動的アクション形状は、制約違反を低減しつつ高い報酬を維持できるか？
• RQ5 形式的言語制約は、従来のシャーディングや報酬形状と比較して、検証支援性と学習アルゴリズムとの統合性において優れているか？

主な発見

• Half-cheetah環境では、λ = -1000 の報酬形状を適用することで、100ステップあたりの違反数を82.84から16.73に削減し、平均報酬を1555.30から2524.10に向上させた。
• Reacher環境では、最良の設定（λ = -1000）が0件の違反を達成し、報酬を-5.28にした。これはベースラインの-6.55を上回った。
• Atari環境では、訓練時と評価時の両方でハードなアクション形状を適用した結果、最高の平均報酬（例：Breakoutで302.00、Seaquestで2284.78）を達成し、違反はゼロであった。
• アクション形状を訓練時のみに適用した場合、性能はわずかに向上した（例：Paddle Ballで281.77 vs. 評価時のみで229.00）。これは、初期段階での形状が方策学習を支援していることを示唆する。
• MuJoCo環境では、制約違反が最大80％削減され、最終的な方策報酬が向上した。これにより、安全性とサンプル効率の両方が向上したことが実証された。
• 形式的言語制約の使用により、事前的な安全特性の検証が可能となり、契約ベースのソフトウェアシステムへの統合を支援した。