[論文レビュー] Guidance on the Assurance of Machine Learning in Autonomous Systems (AMLAS)

Richard Hawkins, Colin Paterson+4 more|arXiv (Cornell University)|Feb 2, 2021

Adversarial Robustness in Machine Learning参考文献 37被引用数 47

ひとこと要約

AMLASは、自動運転システムのMLコンポーネントを体系的に保証する6段階のプロセスと安全ケースパターンを提供し、システムの危険をML固有の要件と検証的根拠の議論に結びつける。

ABSTRACT

Machine Learning (ML) is now used in a range of systems with results that are reported to exceed, under certain conditions, human performance. Many of these systems, in domains such as healthcare , automotive and manufacturing, exhibit high degrees of autonomy and are safety critical. Establishing justified confidence in ML forms a core part of the safety case for these systems. In this document we introduce a methodology for the Assurance of Machine Learning for use in Autonomous Systems (AMLAS). AMLAS comprises a set of safety case patterns and a process for (1) systematically integrating safety assurance into the development of ML components and (2) for generating the evidence base for explicitly justifying the acceptable safety of these components when integrated into autonomous system applications.

研究の動機と目的

• 自動運転システム内のMLコンポーネント開発に、段階的な安全保証を組み込むプロセスを定義する。
• システムレベルの危険性とリスク分析をML固有の安全要件に結びつける。
• 前提と不確実性を明示したMLの安全主張を正当化する再利用可能な安全議論パターンを提供する。
• 相互依存関係に対処するため、ML開発とシステム安全分析の反復的なフィードバックを可能にする。
• MLコンポーネントの明示的な安全ケースを作成し、全体のシステム安全ケースに組み込めるようにする。

提案手法

• 六つのAMLAS段階を定義する: ML安全保証のスコーピング、ML安全要件、データ管理、モデル学習、モデル検証、デプロイメント統合。
• 先行活動の成果物を用いて安全保証議論パターンを具現化し、ML安全主張を正当化する（GSNベースのパターン）。
• システム安全要件をML安全要件に翻訳し、レビューとシミュレーションを通じて検証する。
• データ要件を定義し、ML安全要件に整合するデータセットを作成・検証する。
• 学習とデータプロセスを専用の議論パターンで文書化しつつ、MLモデルを開発・検証する。
• MLコンポーネントを全体システムに統合し、フィードバックに基づいて必要に応じて反復テストを行う。

実験結果

リサーチクエスチョン

• RQ1 自動運転システムにおけるシステムレベルの危険と安全要件を、ML固有の安全要件へ効果的にどのようにマッピングできるか？
• RQ2 MLコンポーネントが安全要件を満たすことを、明示的な安全ケースの中で正当化するのに最も適した成果物と議論パターンは何か？
• RQ3 MLコンポーネントの追跡可能で監査可能な保証を可能にするよう、データ管理とモデル学習をどのように文書化すべきか？
• RQ4 AMLASにおけるML開発段階とシステム安全分析の反復フィードバックの役割は何か？
• RQ5 安全 Criticalな領域でMLコンポーネントを統治するために、AMLASを既存の安全基準といかに統合できるか？

主な発見

• AMLASは、自動運転システムのための明示的なML安全ケースを生成する構造化された六段階のプロセスを提供します。
• このアプローチはシステム安全要件をML固有の安全要件に結びつけ、段階的な安全議論パターンによる正当化を支持します。
• 安全保証は反復的で、検証結果からのフィードバックに基づき、データ・学習・検証などの段階を再訪することを許容します。
• AMLASは各段階の安全議論における前提、トレードオフ、不確実性の明示的な文書化を強調します。
• GSNベースの議論パターンを用いて、各段階にわたる安全主張を文書化・具体化します。
• この方法論はオフラインの教師あり学習に焦点を当て、強化学習など他のMLタイプにも潜在的な利点があることを認めています。