[論文レビュー] A causal model of safety assurance for machine learning

Simon Burton|arXiv (Cornell University)|Jan 14, 2022

Safety Systems Engineering in Autonomy被引用数 5

ひとこと要約

本稿は、機械学習システムの安全保証のための因果モデルを提案し、安全工学の原則とML固有の課題を統合する。四つの証拠カテゴリー（モデルの性能、データ品質、環境の不確実性、システムレベルの挙動）を因果的推論を通じて構造化し、包括的な安全根拠を形成することで、サイバー物理システムにおけるMLの厳密で標準化された保証を可能にする。

ABSTRACT

This paper proposes a framework based on a causal model of safety upon which effective safety assurance cases for ML-based applications can be built. In doing so, we build upon established principles of safety engineering as well as previous work on structuring assurance arguments for ML. The paper defines four categories of safety case evidence and a structured analysis approach within which these evidences can be effectively combined. Where appropriate, abstract formalisations of these contributions are used to illustrate the causalities they evaluate, their contributions to the safety argument and desirable properties of the evidences. Based on the proposed framework, progress in this area is re-evaluated and a set of future research directions proposed in order for tangible progress in this field to be made.

研究の動機と目的

• 分断されたメトリクスと不十分な証拠統合による、MLベースのサイバー物理システムにおける安全保証の分野における合意形成の欠如に対処する。
• ISO 21448（SOTIF）や安全工学の原則といった機能的安全性基準と整合する構造化されたフレームワークを開発する。
• 失敗の原因からモデルの不備およびシステムレベルの危険要因への因果的リンクを確立する因果モデルを提供し、追跡可能な安全根拠を可能にする。
• 多様なMLアプリケーションおよび学習パラダイムにわたって検証可能な、効果的な安全証拠の基準を確立する。
• 機械学習研究と安全工学の間のギャップを埋めるために、安全主張に測定可能で因果的根拠を持つ証拠を定義する。

提案手法

• MLシステムにおける安全関連の失敗の因果モデルを提案し、不備の根本原因を特定し、それらがシステムレベルの失敗にどのように伝播するかを分析する。
• 安全根拠証拠の四つのカテゴリーを定義する：モデルの性能、データ品質、環境の不確実性、システムレベルの挙動。
• 入力条件、モデルの挙動、安全結果の間の因果的関係を抽象的で形式的な表現を用いて説明する。
• 複雑な運用ドメインにおける因果的経路の妥当性を確認するため、定性的な工学的判断と統計的相関を統合する。
• 構造化された安全分析手法を用いて、異なる故障モードおよび運用条件における不備を評価する。
• 各カテゴリーが互いの仮定を強化するように、証拠の組み合わせを通じて保証ケースの反復的開発を支援する。

実験結果

リサーチクエスチョン

• RQ1 MLベースのシステムにおいて、入力条件、モデルの不備、およびシステム障害の間の因果的関係を形式的にモデル化する方法は何か？
• RQ2 SOTIFにおける定量的受容基準への適合を説得的に示すために、どのような種類の証拠が必要かつ十分か？
• RQ3 多様な証拠カテゴリーをどのように統合して、鋭い検証に耐える強固で包括的な安全根拠を構築できるか？
• RQ4 統計的および確率的推論に基づく場合に、MLの文脈における効果的な安全メトリクスおよび手法の基準は何か？
• RQ5 統計的かつ非決定的特性を有する機械学習に適応する安全保証プロセスは、予測不能な環境においてどのように設計できるか？

主な発見

• 提示された因果モデルにより、入力条件から安全結果への追跡可能な推論が可能になり、安全根拠の透明性と防衛可能性が向上する。
• モデルの性能、データ品質、環境の不確実性、システムレベルの挙動という四つのカテゴリーの証拠を統合することで、個別のメトリクスに比べて安全根拠が著しく強化される。
• 因果的関係の形式的表現は、特定のメトリクスや手法が残存故障率を低減する効果を評価するのを支援する。
• 現在のML安全研究では、証拠統合の統一されたフレームワークが欠如しており、結果として分断的かつしばしば説得力のない安全主張が生じている。
• 残存故障率に関する統計的議論はML安全にとって不可欠であり、不備がシステム全体にどのように伝播するかの因果的理解が求められる。
• 効果的でアプリケーション固有の安全手法およびメトリクスを開発・検証するには、安全とMLのコミュニティ間の協働的で反復的なアプローチが不可欠である。