[論文レビュー] On the validation of complex systems operating in open contexts

Alexander Poddey, Tino Brade+2 more|arXiv (Cornell University)|Jan 22, 2019

Safety Systems Engineering in Autonomy参考文献 5被引用数 15

ひとこと要約

本論文は、オープンで構造のない環境で動作する複雑な自律システムのための体系的でシステムビューに基づく検証アプローチ（sys2val）を提案する。この手法は、反復的開発と検証を構造化されたアルゴリズムで形式化し、レベル3以上の自動化におけるISO/PAS 21448（SOTIF）の欠落を補い、安全、社会的受容性、長期的持続可能性を確保するための包括的証拠統合を強調する。

ABSTRACT

In the recent years, there has been a rush towards highly autonomous systems operating in public environments, such as automated driving of road vehicles, passenger shuttle systems and mobile robots. These systems, operating in unstructured, public real-world environments (the operational design domain can be characterized as open context) per se bear a serious safety risk. The serious safety risk, the complexity of the necessary technical systems, the openness of the operational design domain and the regulatory situation pose a fundamental challenge to the automotive industry. Many different approaches to the validation of autonomous driving functions have been proposed over the course of the last years. However, although partly announced as the solution to the validation challenge, many of the praised approaches leave open crucial parts. To illustrate the contributions as well as the limitations of the individual approaches and providing strategies for 'viable' validation and approval of such systems, the first part of the paper gives an analysis of the fundamental challenges related to the valid design and operation of complex autonomous systems operating in open contexts. In the second part, we formalize the problem statement and provide algorithms for an iterative development and validation. In the last part we give a high level overview of a practical, holistic development process which we refer to as systematic, system view based approach to validation (in short sys2val) and comment on the contributions from ISO26262 and current state of ISO/PAS 21448 (SOTIF).

研究の動機と目的

• オープンで構造のない環境に存在する高レベルの自律システムの検証という根本的課題に取り組む。これは、無限の文脈複雑性のため、安全リスクが高いためである。
• ISO/PAS 21448（SOTIF）を含む既存の検証アプローチの深刻な限界を特定する。特に、レベル3以上の自動化およびオープンな文脈において不十分である。
• 機能的セーフティ、SOTIF、機械学習セーフティ、セキュリティを統合した包括的システムビューに基づく、形式化された反復的検証プロセスを構築する。
• 継続的検証と自己強化的（anti-fragile）なシステム進化を可能にするために、継続的な監視、証拠収集、フィードバックループを実施する。
• 業界および規制当局が自律システムの承認を現実的かつ社会的に受容可能な形で進めるための実用的で包括的な開発フレームワーク（sys2val）を提供する。

提案手法

• システム・オブ・システムズの視点を用いて検証問題を形式化し、抽象化レベルごとの知識断片{Rep_i}と証拠統合制約をモデル化する。
• 開発と検証のための反復的アルゴリズムを導入し、すべてのセーフティ要因（機能的セーフティ、SOTIF、セキュリティなど）がサイクル内で体系的に取り扱われるようにする。
• 現実世界の観察、仮定の監視、機能的変更を統合した包括的検証サイクル（sys2val）を提案し、代表性の欠如を是正する。
• 不十分性分析のための代表的刺激としてのトリガリングイベントを、銀の弾丸（万能薬）としてではなく、希少だが重要なシナリオのカバレッジを確保する手段として使用する。
• 確率的および体系的証拠タイプを統合した一貫した証明フレームワークに統合し、証拠統合の形式的理論の欠如に対処する。
• ISO 26262およびISO/PAS 21448に、継続的検証と自己強化的（anti-fragile）な原則を開発ライフサイクルに埋め込む。

実験結果

リサーチクエスチョン

• RQ1 運用設計ドメインが∞-複雑性を示し、時間とともに変化するオープンな文脈で動作する複雑な自律システムは、どのように検証可能か？
• RQ2 ISO/PAS 21448（SOTIF）のような既存のアプローチが、オープン環境におけるレベル3以上の自律システムのセーフティをどのように不十分に扱っているか？
• RQ3 安全に重要な側面が開発中に見過ごされないよう、体系的で反復的な検証プロセスをどのように形式化できるか？
• RQ4 代表的トリガリングイベントがシステム動作の検証において果たす役割とは何か？なぜ代表性が根本的な課題となるのか？
• RQ5 SOTIF、機能的セーフティ、セキュリティなど複数のセーフティ分野から得られる断片的かつ進化する証拠を、一貫性があり形式化された承認根拠にどのように統合できるか？

主な発見

• ISO/PAS 21448を含む既存の検証アプローチは、統計的でトリガリングイベント駆動の方法に依存しているため、レベル3以上の自律システムに対して不十分であり、∞-複雑性と進化する文脈に対処できない。
• 本論文は、現実世界のトリガリングイベントだけでは検証の万能薬とはなり得ないことを特定した。これは代表性の課題と、より深い不十分性分析の必要性による。
• 抽象化レベルにわたる増大し、相互に関連する知識断片を管理するため、形式化された反復的開発および検証プロセスが不可欠である。
• sys2valフレームワークは、現実世界のデータ、仮定の監視、機能的変更サイクルの統合により、継続的検証と自己強化的（anti-fragile）な進化を可能にする。
• 確率的および体系的証拠を統合する包括的理論—すなわち、形式化された証拠統合理論—は依然として存在せず、形式的で広く受け入れられるセーフティ根拠の構築に大きな障壁をもたらしている。
• 自律システムの社会的受容性は、示せる長期的で安全な運用と、致命的事故を回避できる能力に依存しており、これは現在の基準を超える包括的でシステムビューに基づく検証戦略を必要とする。