[論文レビュー] Guidance on the Safety Assurance of Autonomous Systems in Complex Environments (SACE)

Richard J. Hawkins, Matt Osborne+4 more|arXiv (Cornell University)|Aug 1, 2022

Safety Systems Engineering in Autonomy被引用数 7

ひとこと要約

本論文では、動的で現実世界の環境で動作する自律システム（AS）の開発に安全保証を統合する構造的手法として、複雑な環境における自律システムの安全保証（SACE）を提示する。SACEは、31の安全保証活動を8つの段階に整理したプロセス指向のアプローチを採用し、安全ケースパターンを用いて、すべての設計および運用レベルで追跡可能で検証可能かつ監査可能な根拠に基づいた、安全なASの正当化を体系的に行う。最終的に、複雑な文脈での展開に適した包括的な安全ケースが得られる。

ABSTRACT

Autonomous systems (AS) are systems that have the capability to take decisions free from direct human control. AS are increasingly being considered for adoption for applications where their behaviour may cause harm, such as when used for autonomous driving, medical applications or in domestic environments. For such applications, being able to ensure and demonstrate (assure) the safety of the operation of the AS is crucial for their adoption. This can be particularly challenging where AS operate in complex and changing real-world environments. Establishing justified confidence in the safety of AS requires the creation of a compelling safety case. This document introduces a methodology for the Safety Assurance of Autonomous Systems in Complex Environments (SACE). SACE comprises a set of safety case patterns and a process for (1) systematically integrating safety assurance into the development of the AS and (2) for generating the evidence base for explicitly justifying the acceptable safety of the AS.

研究の動機と目的

• 動的で予測不能な現実世界の環境で動作する自律システム（AS）の安全を確保するという課題に対処すること。
• AS開発のライフサイクル全般に安全保証を統合する、体系的でプロセス指向の手法を提供すること。
• 追跡可能な根拠パターンを用いて、明示的で構造的かつ証拠に基づいた安全ケースを生成し、ASの許容可能な安全性を正当化すること。
• 安全エンジニア、開発者、評価者を支援するための、ASアプリケーションにおける安全保証、検証および検証のための標準化されたフレームワークを提供すること。
• 自動運転車、医療分野、家庭用ロボットなどの高リスク分野における、自律システムの信頼性のある安全評価および認証を可能にすること。

提案手法

• SACEは、システム工学と並行して進行する8段階のプロセスとして構造化されており、開発および運用の全段階にわたり安全保証を統合する。
• 各段階では、安全ケースパターン（例：ASの運用環境、危険なシナリオ、安全な運用概念）を用いて、安全の正当化のための根拠を体系化する。
• 31の安全保証活動を含み、それぞれに定義された入力、出力、証拠要件（例：検証ログ、形式的モデル）が設定されている。
• 活動は、システムレベルの安全要件からコンポーネントレベルの設計および検証に至るまでのトレーサビリティを保証するように整理されている。
• テストと形式的検証の両方を支援するが、それぞれの検証戦略に対して、特定の主張と正当化が求められる。
• 各段階は、累積的で監査可能な安全ケースに寄与する、インスタンス化された安全保証根拠パターンの生成をもって終了する。

実験結果

リサーチクエスチョン

• RQ1 複雑な環境で動作する自律システムの開発ライフサイクルに、安全保証を体系的に統合する方法は何か？
• RQ2 複数の抽象レベルおよび運用文脈にわたり、自律システムの安全性を正当化するために必要な構造的根拠パターンは何か？
• RQ3 テスト、形式的検証、シナリオ分析からの証拠を、安全要件に体系的に収集・関連付ける方法は何か？
• RQ4 安全ケースが十分で、追跡可能で、監査可能であることを保証する基準は何か？
• RQ5 定義された運用ドメイン外で動作する自律システムの安全性をどのように保証できるか？

主な発見

• SACE手法は、31の安全保証活動を有する包括的でプロセス指向のフレームワークを提供し、自律システムの体系的で安全ケースの構築を可能にする。
• SACEの各段階は、累積的で監査可能でトレーサブルな安全根拠を形成するインスタンス化された安全ケースパターンを出力する。
• このアプローチは、テストと形式的検証の両方を支援し、検証証拠の十分性を正当化するための特定の主張（例：G8.2はテスト、G8.6は形式的検証）を含む。
• この手法は、システムレベルの意図からコンポーネントレベルの実装および検証に至るまでの安全要件のトレーサビリティを保証する。
• このフレームワークは、証拠に基づく主張（モデル仮定の正当化やテストの代表的妥当性の説明を含む）を通じて、安全要件の検証を可能にする。
• 最終出力として、すべてのシステム設計および運用の段階で安全要件を満たしていることを示す、構造的で証拠豊富な安全ケースが得られる。