[論文レビュー] Real-time Out-of-distribution Detection in Learning-Enabled Cyber-Physical Systems

Feiyang Cai, Xenofon Koutsoukos|arXiv (Cornell University)|Jan 28, 2020

Anomaly Detection Techniques and Applications参考文献 26被引用数 10

ひとこと要約

本稿では、変分自己オートエンコーダ（VAEs）と深層サポートベクタデータ記述（SVDD）を組み合わせた誘導的コピュラ予測（inductive conformal prediction）を用いて、学習可能型サイバーフィジカルシステム（CPS）におけるリアルタイムの分布外（OOD）検出手法を提案する。この手法により、低い誤検出率と最小限の検出遅延を実現する効率的で良好にキャリブレーションされたOOD検出が可能となり、自律走行車のシミュレーションにおいて、元の機械学習コンponentと同等の実行時間を持つ。

ABSTRACT

Cyber-physical systems (CPS) greatly benefit by using machine learning components that can handle the uncertainty and variability of the real-world. Typical components such as deep neural networks, however, introduce new types of hazards that may impact system safety. The system behavior depends on data that are available only during runtime and may be different than the data used for training. Out-of-distribution data may lead to a large error and compromise safety. The paper considers the problem of efficiently detecting out-of-distribution data in CPS control systems. Detection must be robust and limit the number of false alarms while being computational efficient for real-time monitoring. The proposed approach leverages inductive conformal prediction and anomaly detection for developing a method that has a well-calibrated false alarm rate. We use variational autoencoders and deep support vector data description to learn models that can be used efficiently compute the nonconformity of new inputs relative to the training set and enable real-time detection of out-of-distribution high-dimensional inputs. We demonstrate the method using an advanced emergency braking system and a self-driving end-to-end controller implemented in an open source simulator for self-driving cars. The simulation results show very small number of false positives and detection delay while the execution time is comparable to the execution time of the original machine learning components.

研究の動機と目的

• 学習可能型サイバーフィジカルシステム（CPS）における分布外（OOD）入力の安全リスクに対処する。これは、分布シフトによりモデルが予期せず失敗する可能性があるためである。
• 高次元入力に強くない、リアルタイム効率性に欠ける、または誤検出が多すぎるという既存のOOD検出手法の限界を克服する。
• 計算効率が高く、リアルタイムで動作するOOD検出フレームワークを開発し、安全が求められるCPSへの導入に適した良好にキャリブレーションされた誤検出率を維持する。
• 自律走行車の機械学習コンponentの実行時モニタリングを可能にする。具体的には、訓練データからの入力分布のずれを定量化する。
• 検出手法をアドバンスドエマージェンシーブレーキングやエンドツーエンド自律走行コントローラーなどの制御システムと統合し、実用的な安全保証を実現する。

提案手法

• 新しい入力が訓練分布に対してどの程度適合しているかを示すp値を計算するために、誘導的コピュラ予測（ICP）を活用する。
• 変分自己オートエンコーダ（VAEs）と深層サポートベクタデータ記述（SVDD）を用いて、新しい入力が訓練データとどの程度異常であるかを測る非適合スコアを学習する。
• 訓練データを適切な訓練セットとキャリブレーションセットに分割し、ICPを用いたオンラインでリアルタイム推論を可能にし、良好にキャリブレーションされた信頼水準を実現する。
• VAEとSVDDモデルを用いて、リアルタイムで非適合スコアを計算する。これらのモデルは、分布内データを正確に再構成し、高次元のOOD入力を検出できるように訓練されている。
• 事前に定義された異常閾値εを適用し、p値がε未満の場合にその入力をOODと分類することで、良好にキャリブレーションされた誤検出率を保証する。
• 検出モジュールを軽量な実行時モニタとして統合し、元の学習可能型コンponent（LEC）と並列に動作させ、最小限のパフォーマンスオーバーヘッドを実現する。

実験結果

リサーチクエスチョン

• RQ1 高次元で動的なCPS入力において、低いかつ良好にキャリブレーションされた誤検出率を維持するリアルタイムOOD検出手法を設計できるか？
• RQ2 安全が求められる制御システムにおいて、VAEsとSVDDを用いて非適合スコアをどの程度効率的に計算できるか？
• RQ3 提案手法は、自律走行車の制御システムにおいて、既存の異常検出技術と比較して誤検出をどの程度低減できるか？
• RQ4 実世界のCPSワークロードにおいて、検出モジュールの計算オーバーヘッドは、元の機械学習コンponentに対してどの程度か？
• RQ5 エンドツーエンド自律走行コントローラーや緊急ブレーキングシステムで、大きな予測誤差を引き起こす可能性のあるOOD入力を、信頼性高く検出できるか？

主な発見

• 提案手法は、アドバンスドエマージェンシーブレーキングシステム（AEBS）とエンドツーエンド自律走行コントローラー（SDEC）の両方のシミュレーションで、極めて少ない誤検出数を達成した。
• 検出遅延は最小限であり、実行時間は元の機械学習コンponentと同等であったため、リアルタイムでの導入が可能であった。
• VAEsとSVDDの使用により、センサーデータストリームのような高次元入力に対する非適合スコアの正確かつ効率的な計算が可能になった。
• 誘導的コピュラ予測フレームワークにより、実際の異常検出率が事前に定義された閾値εとよく一致し、良好にキャリブレーションされた誤検出率が保証された。
• 訓練分布から著しく逸脱した入力を効果的に同定でき、元のモデルがそれらを警告しない場合でも、大きな予測誤差を引き起こす可能性があることを示した。
• 本手法は多様な入力分布に強く、シミュレーション環境におけるさまざまな環境条件下でも性能を維持した。