[論文レビュー] It's Time to Play Safe: Shield Synthesis for Timed Systems

Akshay, S., Genest, Blaise+3 more|arXiv (Cornell University)|Jun 30, 2020

Formal Methods in Verification参考文献 26被引用数 5

ひとこと要約

本稿では、タイムド・オートマトンの仕様から合成されるタイムド・ポストシールドおよびプレシールドを提案し、最小限の干渉で安全を保証するリアルタイムシステムのための手法を提示する。ポストシールドには回復保証を導入し、強化学習を用いた車両列進制御の分野でその有効性を実証した。衝突の著しい削減が達成されるとともに、安全な学習が可能となった。

ABSTRACT

Erroneous behaviour in safety critical real-time systems may inflict serious consequences. In this paper, we show how to synthesize timed shields from timed safety properties given as timed automata. A timed shield enforces the safety of a running system while interfering with the system as little as possible. We present timed post-shields and timed pre-shields. A timed pre-shield is placed before the system and provides a set of safe outputs. This set restricts the choices of the system. A timed post-shield is implemented after the system. It monitors the system and corrects the system's output only if necessary. We further extend the timed post-shield construction to provide a guarantee on the recovery phase, i.e., the time between a specification violation and the point at which full control can be handed back to the system. In our experimental results, we use timed post-shields to ensure the safety in a reinforcement learning setting for controlling a platoon of cars, during the learning and execution phase, and study the effect.

研究の動機と目的

• 形式的検証が複雑さのため非現実的である、安全が求められるリアルタイムシステムにおける安全の確保という課題に取り組むこと。
• システム動作を妨げることなく、タイムド安全特性を強制する自動合成可能なタイムド・シールドの手法を開発すること。
• 干渉後のシステム制御の即時回復を保証する、時間的に限定された回復時間を有するポストシールドの拡張を実現すること。
• 自律走行車両の列進制御を対象とした強化学習の文脈で、本手法の有効性を評価すること。
• 学習段階および実行段階の両方でシールドを適用することで、学習効率を損なわせることなく安全性を向上させること。

提案手法

• タイムド・オートマトンの仕様から安全戦略を生成するために、Uppaal Tiga および Uppaal Stratego を用いてタイムド・シールドを合成する。
• 2種類のシールドを実装する：出力を安全な選択肢に制限するプレシールド、および不適切な出力を監視・是正するポストシールド。
• 故障シナリオをモデル化することで、ポストシールドに回復保証を導入し、干渉が限定時間内に終了することを保証する。
• リアルタイムで学習エージェントの不適切な行動を是正するため、タイムド・ポストシールドを強化学習パイプラインに適用する。
• 速度および距離制約を含む車両列進モデルを用いて、動的条件下でのシールド性能を評価する。
• 安全でない距離（≤5m または ≥200m）に対してペナルティを与える報酬関数を採用し、RLの訓練および安全性の評価を支援する。

実験結果

リサーチクエスチョン

• RQ1 タイムド・オートマトンから自動合成可能なタイムド・シールドを生成し、リアルタイムシステムにおける安全を保証できるか？
• RQ2 干渉後の制御回復を時間的に限定された回復時間で保証するには、ポストシールドをどのように拡張すればよいか？
• RQ3 強化学習の文脈において、学習段階および実行段階の両方でポストシールドを適用した場合、どのような影響が生じるか？
• RQ4 学習段階でのシールド適用が、リアルタイム制御タスクにおける学習性能の劣化を招かずに安全性を向上させるか？
• RQ5 干渉度と安全強制の観点から、プレシールドとポストシールドはどのように比較できるか？

主な発見

• シールドなしの設定では、10台の車両を対象とした10,000回のシミュレーションで合計983件の衝突が発生し、実行段階における高いリスクが示された。
• 実行段階でのみポストシールドを適用した場合、衝突はゼロに減少し、衝突までの平均シミュレーション時間は544時間単位にまで上昇した。
• 学習段階および実行段階の両方でシールドを適用した場合、平均報酬は342であったのに対し、シールドなしの場合は608であった。安全性と報酬の間にはトレードオフが生じていることが示唆された。
• シールド付きの訓練段階は、衝突により早期に終了するシールドなしのケースとは異なり、常に2000時間単位の継続が保証された。
• シールドなしの訓練段階と実行段階でのポストシールド適用の組み合わせは、両段階でシールドを適用した場合よりも高い平均報酬を達成した。これは、制約なしで学習を行うことの潜在的な利点を示している。
• 結果から、タイムド・ポストシールドが、動的かつ不確実なリーダー行動に対しても、車両列進制御における衝突を効果的に防止できることを確認した。