[論文レビュー] Reliability Assessment and Safety Arguments for Machine Learning Components in Assuring Learning-Enabled Autonomous Systems

Xingyu Zhao, Wei Huang+7 more|arXiv (Cornell University)|Nov 30, 2021

Software Reliability and Analysis Research参考文献 68被引用数 5

ひとこと要約

本論文は、学習による自律システムにおける機械学習分類器の信頼性を評価するモデルに依存しない信頼性評価モデル（RAM）を提案する。このモデルは、運用プロファイルと頑健性検証を統合し、信頼性を定量化するとともに、確率的安心性根拠を支援する。フレームワークにより、コンポONENTレベルでの信頼性主張が可能となり、自律水中ドローンを用いたシミュレーションにより検証されている。

ABSTRACT

The increasing use of Machine Learning (ML) components embedded in autonomous systems -- so-called Learning-Enabled Systems (LES) -- has resulted in the pressing need to assure their functional safety. As for traditional functional safety, the emerging consensus within both, industry and academia, is to use assurance cases for this purpose. Typically assurance cases support claims of reliability in support of safety, and can be viewed as a structured way of organising arguments and evidence generated from safety analysis and reliability modelling activities. While such assurance activities are traditionally guided by consensus-based standards developed from vast engineering experience, LES pose new challenges in safety-critical application due to the characteristics and design of ML models. In this article, we first present an overall assurance framework for LES with an emphasis on quantitative aspects, e.g., breaking down system-level safety targets to component-level requirements and supporting claims stated in reliability metrics. We then introduce a novel model-agnostic Reliability Assessment Model (RAM) for ML classifiers that utilises the operational profile and robustness verification evidence. We discuss the model assumptions and the inherent challenges of assessing ML reliability uncovered by our RAM and propose practical solutions. Probabilistic safety arguments at the lower ML component-level are also developed based on the RAM. Finally, to evaluate and demonstrate our methods, we not only conduct experiments on synthetic/benchmark datasets but also demonstrate the scope of our methods with a comprehensive case study on Autonomous Underwater Vehicles in simulation.

研究の動機と目的

• 機械学習モデルの特性により、従来の安全手法が機能しなくなる学習による自律システム（LES）における機能的安全性を保証する課題に対処すること。
• システムレベルの安全目標をコンポーネントレベルの信頼性要件に分解する定量的保証フレームワークを構築すること。
• モデルに依存しない機械学習分類器用の信頼性評価モデル（RAM）を構築し、運用プロファイルデータと頑健性検証の証拠を統合すること。
• RAMに基づいて、コンポーネントレベルでの確率的安心性根拠を策定し、安心性ケース構築を支援すること。
• ベンチマークおよび合成データセットを用いた実験と、自律水中ドローンを対象とした包括的なシミュレーション・ケーススタディを通じて、フレームワークの適用可能性と有効性を示すこと。

提案手法

• 運用プロファイルデータと頑健性検証結果を用いて、分類器の信頼性を推定するモデルに依存しない信頼性評価モデル（RAM）を設計する。
• 実際の使用状況を反映するために、現実の入力分布を表す運用プロファイル情報を信頼性評価に統合する。
• 敵対的テストや形式的検証からの証拠など、頑健性検証の証拠を、摂動下での信頼性評価の主要な入力として用いる。
• RAMの出力を統合し、統計的信頼性指標と信頼区間を組み合わせることで、コンポーネントレベルでの確率的安心性根拠を構築する。
• システムレベルの安全目標を、測定可能なコンポーネントレベルの信頼性目標に分解するためのフレームワークを適用する。
• ベンチマークおよび合成データセットを用いた実験の後、自律水中ドローンを対象とした完全なシミュレーションベースのケーススタディを通じて、アプローチを検証する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、モデルに依存せず運用プロファイルに配慮した形で、LESにおける機械学習分類器の信頼性を定量的に評価できるか？
• RQ2 頑健性検証は、機械学習コンポーネントの信頼性主張の信ぴょう性を高める上で、どのような役割を果たすか？
• RQ3 コンポーネントレベルの信頼性指標は、どのように導出され、安心性ケースにおけるシステムレベルの安全主張を支援するために使用されるか？
• RQ4 提案されたRAMフレームワークは、複雑な運用プロファイルを有する実世界の自律システムに、どの程度適用可能か？
• RQ5 運用プロファイルと頑健性証拠を統合することで、機械学習コンポーネントの安心性根拠の説得力はどの程度向上するか？

主な発見

• 提案されたRAMは、モデル固有の仮定を必要とせず、多様なアーキテクチャに応用可能であるため、信頼性推定の信頼性が向上する。
• 運用プロファイルを統合することで、実際の導入状況を反映するため、信頼性評価の現実性と関連性が著しく向上する。
• 頑健性検証の証拠は、入力摂動下での故障モードの特定において、信頼性評価に有意義に寄与する。
• フレームワークは、コンポーネントレベルでの確率的安心性根拠の構築を成功裏に支援し、追跡可能で証拠に基づく安心性ケースの構築を可能にする。
• 自律水中ドローンを対象としたケーススタディにより、フレームワークのスケーラビリティと、複雑で安全が重要なシミュレーション環境における実用的有用性が実証された。
• 定量的信頼性指標と安心性ケース構造を統合することで、学習によるシステムにおけるより説得力があり、監査可能な安全主張が可能になる。