[論文レビュー] Multisource AI Scorecard Table for System Evaluation

Erik Blasch, James Sung+1 more|arXiv (Cornell University)|Feb 8, 2021

Digital Transformation in Industry参考文献 37被引用数 22

ひとこと要約

本論文は、知的財産委員会指令203に基づいて開発された標準化されたチェックリストであるマルチソースAIスコアカードテーブル（MAST）を紹介する。MASTは、データソース、不確実性、一貫性、正確性、可視化の各分野においてAI/MLシステムを評価することを目的としている。アナリティクスのトレーデクラフト原則を統合することで、政府および民間分野のAIシステムに対する透明性、一貫性、信頼性のある評価を、構造化された評価基準と3つの具体的な応用事例を通じて可能にする。

ABSTRACT

The paper describes a Multisource AI Scorecard Table (MAST) that provides the developer and user of an artificial intelligence (AI)/machine learning (ML) system with a standard checklist focused on the principles of good analysis adopted by the intelligence community (IC) to help promote the development of more understandable systems and engender trust in AI outputs. Such a scorecard enables a transparent, consistent, and meaningful understanding of AI tools applied for commercial and government use. A standard is built on compliance and agreement through policy, which requires buy-in from the stakeholders. While consistency for testing might only exist across a standard data set, the community requires discussion on verification and validation approaches which can lead to interpretability, explainability, and proper use. The paper explores how the analytic tradecraft standards outlined in Intelligence Community Directive (ICD) 203 can provide a framework for assessing the performance of an AI system supporting various operational needs. These include sourcing, uncertainty, consistency, accuracy, and visualization. Three use cases are presented as notional examples that support security for comparative analysis.

研究の動機と目的

• AI/MLシステムの出力の透明性と信頼性を向上させるための標準化された評価フレームワークの開発。
• 知的財産委員会指令（ICD）203の原則——特にデータソース、不確実性、一貫性——を、AIシステム評価に実用的なチェックリストとして適応すること。
• アナリティクスのトレーデクラフト基準を統合することで、AIの説明可能性と解釈可能性を支援する。
• 公共部門および民間部門の開発者やユーザーが再利用可能で政策準拠のツールを提供すること。
• さまざまな運用ニーズに適応可能な構造化された基準を用いて、AIシステムの検証と検査を一貫して可能にすること。

提案手法

• MASTフレームワークは、ICD 203の核となる原則——データソース、不確実性の取り扱い、一貫性、正確性、可視化——を基盤として構築されている。
• 各評価基準は、AIシステム全体に一貫して適用可能なチェックリスト形式に具体化されている。
• 人間を含む意思決定のトレーサビリティと説得力のある根拠を重視することで、ヒューマンインザループの原則を統合している。
• セキュリティおよび比較分析の文脈におけるMASTの適用を示すために、3つの概念的応用事例が開発された。
• 異なるAIツールやデータソース間での一貫性ある比較を可能にするために、評価次元を標準化している。
• 評価プロセスにコンプライアンスとステークホルダーの合意形成を組み込むことで、ポリシー整合性を支援している。

実験結果

リサーチクエスチョン

• RQ1 知的財産委員会のアナリティクスのトレーデクラフト基準を、非知的財産分野のAI/MLシステムの評価にどのように適応できるか。
• RQ2 多様な応用分野において、AIシステム出力の一貫性、透明性、信頼性を確保するために不可欠な基準は何か。
• RQ3 標準化されたスコアカードが、AIシステムの検証と検査プロセスをどのように改善できるか。
• RQ4 MASTフレームワークは、AI意思決定における説明可能性と解釈可能性をどのように支援するか。
• RQ5 統合的マルチソースデータ統合を、統一されたスコアカードフレームワーク内で体系的に評価する方法は何か。

主な発見

• MASTは、透明性と一貫性を高める構造的でポリシー準拠のフレームワークを提供する。
• フレームワークは、データソース、不確実性、一貫性、正確性、可視化という主要な次元において、AIシステムの体系的評価を可能にする。
• 3つの概念的応用事例により、MASTがセキュリティおよび比較分析の場面で実用的に適用可能であることが示された。
• ICD 203の原則をスコアカード形式に統合することで、ステークホルダーの合意形成と運用基準への準拠が支援された。
• 確立されたアナリティクスのトレーデクラフトに基づく評価の根拠を設けることで、解釈可能性と説明可能性が向上した。
• 異なるシステムやデータソース間で評価基準を標準化することで、AIツールの意味のある比較が可能になった。