[論文レビュー] Framework for Certification of AI-Based Systems

Maxime Gariel, Brian Shimanuki+2 more|arXiv (Cornell University)|Feb 21, 2023

Risk and Safety Analysis被引用数 7

ひとこと要約

本論文は、安全性が求められる航空宇宙分野のAIベースのシステムの認証を目的としたデータ中心のフレームワークを提案する。要件、学習データ、モデル、テスト結果のトレーサビリティに重点を置いている。79%の平均精度を達成するDNNを用いた空中侵入物体検出の学習を通じて、範囲などの入力変動に対する感受性を体系的に分析可能であることを示し、認証に向けた準備が整っていることを実証している。

ABSTRACT

The current certification process for aerospace software is not adapted to "AI-based" algorithms such as deep neural networks. Unlike traditional aerospace software, the precise parameters optimized during neural network training are as important as (or more than) the code processing the network and they are not directly mathematically understandable. Despite their lack of explainability such algorithms are appealing because for some applications they can exhibit high performance unattainable with any traditional explicit line-by-line software methods. This paper proposes a framework and principles that could be used to establish certification methods for neural network models for which the current certification processes such as DO-178 cannot be applied. While it is not a magic recipe, it is a set of common sense steps that will allow the applicant and the regulator increase their confidence in the developed software, by demonstrating the capabilities to bring together, trace, and track the requirements, data, software, training process, and test results.

研究の動機と目的

• 従来の認証基準（例：DO-178）が、パラメータ化され非決定的であるDNN（深層ニューラルネットワーク）に対して数学的トレーサビリティを欠いていることによる制限を解消すること。
• 要件、学習データ、モデル重み、学習プロセス、テスト結果の系統的追跡とトレーサビリティを可能にするフレームワークの開発。これにより規制当局の信頼性を高めること。
• 実世界の事例を用いてフレームワークの実現可能性を示すこと：航空分野における視覚ベースの検出・回避のためのDNNを学習する。
• モデルの汎化性能と、範囲、照明、天候条件などの入力変動に対する感受性を評価すること。これらは安全性認証において極めて重要である。
• 将来の正式な検証、敵対的ロバストネステスト、自動データ生成を統合できる認証済みMLパイプラインの基盤を構築すること。

提案手法

• メタデータ豊富なデータ管理を用いて、システム要件から学習データ、モデル重み、テスト結果に至るまで、エンドツーエンドのトレーサビリティを確立する。
• 各画像に、対象までの距離、照明、天候、背景タイプ、シーケンス情報などの属性をアノテーションすることで、統計的分析を支援するデータ中心のアプローチを採用する。
• COCOでの事前学習を経て、724枚の学習画像と379枚のテスト画像に分かれたクリーニング済みデータセットを用い、標準的なDNNアーキテクチャ（SSD FPNにResNet-50を組み合わせたもの）でモデルを学習する。
• 感度分析は、テストデータを範囲のビン（0–375m、375–750mなど）に分割することで実施し、運用条件における性能変動を評価する。
• フレームワークは、多様な入力シナリオにおけるモデル性能と汎化性能の統計的評価を可能にし、規制当局がロバストネスを評価できるようにする。
• 摂動を加えた入力（敵対的入力）を標準データと共に格納・トレースできることで、安定性分析を可能にする敵対的例テストの統合を支援する。

Figure 1: Process for tracking an object using a radar.

実験結果

リサーチクエスチョン

• RQ1 従来のコードベースの検証が不十分である場合、AIベースのシステムのトレーサビリティをどのように向上させれば、認証基準を満たせるか？
• RQ2 照明、天候、範囲などの多様な運用条件におけるモデルの汎化性能を確保するため、必要なメタデータおよびデータ管理手法は何か？
• RQ3 対象までの距離などの入力変動に対する感受性を、どのように定量的に評価・文書化できるか？
• RQ4 モデル重みの数学的形式的解釈が不可能な場合に、データ中心のフレームワークが、モデル性能に関する統計的信頼性をどのように提供できるか？
• RQ5 体系的なデータプロバンスとメタデータは、安全性が求められるシステムにおけるAIモデルの規制審査と監査可能性をどのように高めるか？

主な発見

• DNNは、航空機侵入物体検出のテストセットにおいて平均精度79%を達成し、この用途におけるベースライン性能を示した。
• モデル性能は範囲が増加するにつれて低下し、0–375mのビンで最高の平均精度、1115–1500mのビンで最低の平均精度を示しており、範囲に対する感受性が明確に確認された。
• フレームワークにより、範囲などの入力属性ごとにテストデータを体系的に分割可能となり、特定の条件での性能分析が可能になった。
• 照明、天候、背景などのメタデータの使用により、データセットの多様性とモデルのロバストネスの定性的・定量的評価が可能になった。
• 摂動を加えた入力をトレースできることで、敵対的例テストの統合が可能となり、認証段階での安定性分析が促進された。
• モデル重みが数学的に解釈不能であっても、運用ドメイン全体にわたるモデル行動に関する統計的信頼性を提供する基盤を構築した。

Figure 2: Example of a DNN.