[論文レビュー] Assurance Monitoring of Cyber-Physical Systems with Machine Learning Components

Dimitrios Boursinos, Xenofon Koutsoukos|arXiv (Cornell University)|Jan 14, 2020

Anomaly Detection Techniques and Applications参考文献 23被引用数 8

ひとこと要約

本稿では、機械学習部品を備えた情報物理システム（CPS）のための、適合予測に基づく保証監視フレームワークを提案する。埋め込みに基づく非適合スコアを用いることで、リアルタイムかつ良好にキャリブレーションされた信頼性推定が可能となる。この手法は、最小限のアラームで誤差率を限定的に保証し、交通標識認識およびロボットナビゲーションのデータセットにおいて、計算効率と優れたキャリブレーションを示した。

ABSTRACT

Machine learning components such as deep neural networks are used extensively in Cyber-Physical Systems (CPS). However, they may introduce new types of hazards that can have disastrous consequences and need to be addressed for engineering trustworthy systems. Although deep neural networks offer advanced capabilities, they must be complemented by engineering methods and practices that allow effective integration in CPS. In this paper, we investigate how to use the conformal prediction framework for assurance monitoring of CPS with machine learning components. In order to handle high-dimensional inputs in real-time, we compute nonconformity scores using embedding representations of the learned models. By leveraging conformal prediction, the approach provides well-calibrated confidence and can allow monitoring that ensures a bounded small error rate while limiting the number of inputs for which an accurate prediction cannot be made. Empirical evaluation results using the German Traffic Sign Recognition Benchmark and a robot navigation dataset demonstrate that the error rates are well-calibrated while the number of alarms is small. The method is computationally efficient, and therefore, the approach is promising for assurance monitoring of CPS.

研究の動機と目的

• 深層ニューラルネットワークを含む機械学習部品を統合する情報物理システム（CPS）における信頼性確保の課題に対処すること。
• CPSにおける機械学習予測の良好にキャリブレーションされた信頼性推定を提供するリアルタイム保証監視フレームワークを開発すること。
• 誤差率を限定的に保ちながら、人間による介入を必要とする入力の数を最小限に抑えるためにアラームの数を減らすこと。
• 学習済み埋め込み表現を活用することで、CPSに一般的な高次元入力空間における効率的な展開を可能とすること。
• 交通標識認識およびロボットナビゲーションを含む、実世界のCPSベンチマーク上で、手法の有効性および計算効率を検証すること。

提案手法

• 適合予測フレームワークを採用し、誤差率が保証された予測集合を生成することで、統計的信頼性を確保する。
• 高次元入力を効率的に処理するため、トレーニング済みの深層ニューラルネットワークからの埋め込み表現を用いて非適合スコアを計算する。
• 各入力に対して再トレーニングを行わず、事前トレーニング済みモデルと埋め込み上の高速推論を活用することで、リアルタイム動作を実現する。
• 予測集合は、真のラベルがユーザーが定義した信頼水準（例：95%）で含まれるよう構築される。
• モデルの信頼度が低すぎる入力を動的に同定し、必要に応じてのみアラームを発動する。
• 計算効率が高く、安全が求められるCPSへの導入に適した設計となっている。

実験結果

リサーチクエスチョン

• RQ1 埋め込みに基づく非適合スコアを用いた適合予測は、CPSにおける高次元入力に対して、良好にキャリブレーションされた信頼性推定を提供できるか？
• RQ2 リアルタイム監視において、誤差率を限定的に保ちながらアラームの数を最小限に抑える手法の有効性はいかほどか？
• RQ3 交通標識認識およびロボットナビゲーションのような実世界のCPSアプリケーションへのスケーラビリティはどの程度達成できるか？
• RQ4 信頼性および計算オーバーヘッドの観点から、標準的な予測手法と比較して、本手法はどのように差をつけるか？
• RQ5 性能や安全性を損なうことなく、リアルタイムシステムへの展開が可能か？

主な発見

• ドイツ交通標識認識ベンチマークおよびロボットナビゲーションデータセットの両方で、良好にキャリブレーションされた誤差率が達成され、実際の誤差率が名目上の信頼水準と非常に近い値を示した。
• アラームが必要な入力数（つまり、信頼度が低い入力）が非常に少なかったため、監視リソースの効率的利用が示された。
• 計算効率が高く、安全が求められるCPSへの展開に適したリアルタイム動作が実現された。
• 埋め込み表現の使用により、高次元入力の直接処理と比較して、非適合スコア計算の計算コストが顕著に低減された。
• 実験的結果により、予測集合が所望の誤差率の境界を維持していることが確認され、適合予測の理論的保証が妥当であることが裏付けられた。
• フレームワークは、性能の低下を伴わずに、実世界のCPSアプリケーションからの複雑で高次元の入力を効果的に処理できた。