[論文レビュー] AutoRepair: Automated Repair for AI-Enabled Cyber-Physical Systems under Safety-Critical Conditions

Deyun Lyu, Jiayang Song+5 more|arXiv (Cornell University)|Apr 12, 2023

Smart Grid Security and Resilience被引用数 4

ひとこと要約

本稿では、安全でない制御行動を自動診断・修復する自動フレームワークであるAUTOREPAIRを提案する。安全でない制御行動は、安全が求められるサイバーフィジカルシステム（CPS）における深層ニューラルネットワーク（DNN）コントローラーに生じる。最適化に基づく補正探索とロバストな再訓練を用いて、システムレベルの安全要件を満たすために最小限の制御信号の調整を特定する。6つの産業用CPSインスタンスにおいて、顕著な信頼性向上を伴い、深刻な安全問題を効果的に修復した。

ABSTRACT

Cyber-Physical Systems (CPS) have been widely deployed in safety-critical domains such as transportation, power and energy. Recently, there comes an increasing demand in employing deep neural networks (DNNs) in CPS for more intelligent control and decision making in sophisticated industrial safety-critical conditions, giving birth to the class of DNN controllers. However, due to the inherent uncertainty and opaqueness of DNNs, concerns about the safety of DNN-enabled CPS are also surging. In this work, we propose an automated framework named AutoRepair that, given a safety requirement, identifies unsafe control behavior in a DNN controller and repairs them through an optimization-based method. Having an unsafe signal of system execution, AutoRepair iteratively explores the control decision space and searches for the optimal corrections for the DNN controller in order to satisfy the safety requirements. We conduct a comprehensive evaluation of AutoRepair on 6 instances of industry-level DNN-enabled CPS from different safety-critical domains. Evaluation results show that AutoRepair successfully repairs critical safety issues in the DNN controllers, and significantly improves the reliability of CPS.

研究の動機と目的

• 輸送やエネルギー分野など、安全が求められる分野に導入されたDNNを搭載したサイバーフィジカルシステム（CPS）における、安全でない挙動の増加する課題に対処すること。
• 誤動作検出技術やテスト技術の進展にもかかわらず、依然として未解決である、安全でないシステム挙動の検出とDNNコントローラーの自動修復の間のギャップを埋めること。
• システムレベルで安全要件を満たすことを保証する、汎用的で自動化されたフレームワークを構築すること。このフレームワークは、最適な制御信号補正を通じて動作する。

提案手法

• 安全要件を信号時相論理（STL）で表現し、その要件を満たす最小限の制御信号補正を求める多目的最適化問題として修復問題を定式化する。
• 安全でないシステム実行トレースが与えられたもとで、制御意思決定空間を反復的に探索し、最適な補正を検索する。
• 最適化ソルバを用いて、安全要件を満たす最小限の制御信号の調整を計算し、修復後のシステム実行がすべての指定されたSTL制約を満たすことを保証する。
• 修復済みの制御入出力をトレーニングデータセットに統合し、DNNコントローラーのロバストな再訓練を実施する。
• Simulinkにフレームワークを実装し、産業用CPSのモデリングおよびシミュレーションワークフローとの互換性を確保する。
• 修復済みトレースを再訓練に使用するフィードバックループを実装し、実世界の条件下での信頼性および安全性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自動フレームワークは、手動による介入なしに、安全が求められるCPSにおけるDNNコントローラーの安全でない制御行動を特定・修正できるか？
• RQ2 最適化に基づく補正探索は、制御信号の変更を最小限に抑えつつ、システムレベルの安全性を確保するのにどの程度有効か？
• RQ3 修復済みのDNNコントローラーは、修正済みの実行トレースを再訓練に組み込むことで、性能と信頼性をどの程度維持できるか？
• RQ4 AUTOREPAIRは、異なる動的特性と安全要件を有する多様な産業用CPSにどの程度一般化して適用できるか？

主な発見

• AUTOREPAIRは、多様な安全が求められる分野に属する6つの実世界の産業用CPSインスタンスにおいて、DNNコントローラーの深刻な安全問題を効果的に修復した。
• フレームワークは、制御信号に対する最小限で最適な調整により、安全でない制御意思決定を是正することで、システムの信頼性を顕著に向上させた。
• 修復済みの実行トレースをトレーニングプロセスに統合したことで、再訓練済みのDNNコントローラーは、より高い耐障害性と安全要件準拠性を示した。
• 最適化に基づく修復手法は、システム性能を損なうことなく、複雑なSTL安全要件を満たす最小限の補正を効果的に同定した。