[論文レビュー] Certifiable Artificial Intelligence Through Data Fusion

Erik Blasch, Junchi Bin+1 more|arXiv (Cornell University)|Nov 3, 2021

Adversarial Robustness in Machine Learning参考文献 41被引用数 5

ひとこと要約

本論文は、データ統合を活用した信頼性のある人工知能（AI）のフレームワークを提案する。多様なデータ源（例：画像統合）を統合することで、AIシステムの信頼性と性能の上限を向上させる。設計および運用テスト手法を適用することにより、検証可能な性能指標を実現し、物体認識の精度と距離の関係を検証した事例を通じて、政府および公共部門におけるAIの導入に対する信頼性を裏付ける。

ABSTRACT

This paper reviews and proposes concerns in adopting, fielding, and maintaining artificial intelligence (AI) systems. While the AI community has made rapid progress, there are challenges in certifying AI systems. Using procedures from design and operational test and evaluation, there are opportunities towards determining performance bounds to manage expectations of intended use. A notional use case is presented with image data fusion to support AI object recognition certifiability considering precision versus distance.

研究の動機と目的

• 実運用環境におけるAIシステムの認証という重要な課題に取り組み、特に安全が求められる政府および公共部門の応用分野を対象とする。
• 現在のAI認証手法におけるギャップを特定する。特に、標準化された性能上限と検証可能な指標の欠如が問題である。
• データ統合とテストベースの評価を通じて、測定可能な性能期待値を確立するための手法を開発する。
• 画像データ統合を用いた物体認識を想定した事例を通じて、信頼性のあるAIの実現可能性を示す。
• AI開発と運用検証のギャップを埋めるために、確立されたテストおよび評価（T&E）手順に準拠する。

提案手法

• マルチモーダルまたはマルチセンサの画像データを統合するデータ統合技術を活用し、AIモデルの入力品質を向上させる。
• 制御された条件下でAIシステムの性能を定量化するために、形式的な設計および運用テスト・評価（T&E）手順を適用する。
• 物体認識タスクにおける正確性と距離の指標を用いて、性能の上限を定義し、信頼性を評価する。
• 異なる運用シナリオにおいて一貫性と再現性を確保するため、システムレベルの検証プロトコルを統合する。
• 実運用環境を模擬するための想定事例（ノーシャルユースケース）を用い、画像データ統合を通じて認証フレームワークを検証する。
• 監査可能性と認証準備性を支援するため、データ入力から性能結果へのトレーサビリティを確立する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてデータ統合をAI認証に体系的かつ効果的に統合することで、信頼性と信頼性を向上させることができるか？
• RQ2 運用環境におけるAIシステムの認証に最も効果的な性能指標は何か？
• RQ3 従来のテストおよび評価（T&E）手法は、AI駆動システムの認証にどの程度適応可能か？
• RQ4 画像データ統合は、さまざまな条件下でAI物体認識の正確性と頑健性にどのように影響を与えるか？
• RQ5 公共部門の応用において、検証可能な性能上限を確立するにあたり、主な課題は何か？

主な発見

• データ統合により、入力データ品質の向上が実現され、特に長距離での物体認識の正確性が顕著に向上する。
• テストおよび評価（T&E）手順の統合により、AIシステムの検証可能な性能上限を確立できる。
• 想定事例により、精度と距離の関係といった性能指標が信頼性を持って測定可能であり、認証に使用可能であることが示された。
• 提案されたフレームワークは、データ入力からシステム出力へのトレーサビリティを支援し、監査可能性と認証基準への適合性を実現する。
• この手法は、政府および公共部門の応用分野におけるAIシステムの認証に向けた構造的かつ明確な道筋を提供し、導入における不確実性を低減する。
• このアプローチは、さまざまなAI応用に適応可能であり、追加のデータモダリティや性能基準の統合も可能に拡張できる。