[論文レビュー] Trusted Artificial Intelligence: Towards Certification of Machine Learning Applications

Philip Matthias Winter, Sebastian K. Eder+6 more|arXiv (Cornell University)|Mar 31, 2021

Adversarial Robustness in Machine Learning被引用数 24

ひとこと要約

本論文は、機械学習アプリケーションの認証フレームワークと監査カタログを提案し、低リスクの教師あり学習システムに焦点を当てる。意思決定への影響を評価するための4段階の重要度レベルを導入し、セキュリティ、データ品質、倫理、コンプライアンスを統合的に評価プロセスに組み込むことで、形式的な認証基準を通じた信頼できるAIの実現を目指す。

ABSTRACT

Artificial Intelligence is one of the fastest growing technologies of the 21st century and accompanies us in our daily lives when interacting with technical applications. However, reliance on such technical systems is crucial for their widespread applicability and acceptance. The societal tools to express reliance are usually formalized by lawful regulations, i.e., standards, norms, accreditations, and certificates. Therefore, the T\\"UV AUSTRIA Group in cooperation with the Institute for Machine Learning at the Johannes Kepler University Linz, proposes a certification process and an audit catalog for Machine Learning applications. We are convinced that our approach can serve as the foundation for the certification of applications that use Machine Learning and Deep Learning, the techniques that drive the current revolution in Artificial Intelligence. While certain high-risk areas, such as fully autonomous robots in workspaces shared with humans, are still some time away from certification, we aim to cover low-risk applications with our certification procedure. Our holistic approach attempts to analyze Machine Learning applications from multiple perspectives to evaluate and verify the aspects of secure software development, functional requirements, data quality, data protection, and ethics. Inspired by existing work, we introduce four criticality levels to map the criticality of a Machine Learning application regarding the impact of its decisions on people, environment, and organizations. Currently, the audit catalog can be applied to low-risk applications within the scope of supervised learning as commonly encountered in industry. Guided by field experience, scientific developments, and market demands, the audit catalog will be extended and modified accordingly.

研究の動機と目的

• 機械学習アプリケーションの信頼性と社会的受容性を高めるために、形式的な認証プロセスを開発すること。
• 実際の産業分野における機械学習システムの標準化された評価基準の欠如に対処すること。
• ソフトウェアセキュリティ、データ品質、プライバシー、倫理的配慮をカバーする多次元監査カタログを確立すること。
• 人々、環境、組織に及ぼす機械学習意思決定の潜在的影響に基づいて、重要度レベルを定義すること。
• 現場経験と市場ニーズに基づく段階的改善を通じて、将来的な高リスクAIシステムの認証基盤を構築すること。

提案手法

• 意思決定影響の深刻度に基づいてMLアプリケーションを分類する4段階の重要度レベルシステムを提案する。
• セキュアなソフトウェア開発、機能的正しさ、データ品質、データ保護、倫理的コンプライアンスをカバーする包括的な監査カタログを開発する。
• 産業で一般的に見られる低リスクの教師あり学習アプリケーションにこのフレームワークを適用する。
• 現場経験、科学的知見、市場ニーズを根拠に、監査カタログの段階的進化を導く。
• 既存の基準や規制の原則を統合し、法的および社会的信頼メカニズムと整合性を保つ。
• 認証プロセスを、MLシステムの特性を包括的かつ多角的に評価する構造として設計する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして機械学習アプリケーションを、複数の次元にわたって信頼性について体系的に評価できるか？
• RQ2 社会的・運用的影響に基づいて、機械学習意思決定の重要度を定義・分類するために必要な基準は何か？
• RQ3 低リスク産業分野における機械学習システムに形式的な認証プロセスを確立するにはどうすればよいか？
• RQ4 セキュリティ、データ品質、プライバシー、倫理基準への適合を保証するための監査カタログに不可欠な構成要素は何か？
• RQ5 機械学習アプリケーションが進化し、より高いリスク分野に進出するにあたり、認証フレームワークをどのように拡張・適応できるか？

主な発見

• 提案された監査カタログは、産業現場における低リスクの教師あり学習アプリケーションに適用可能である。
• 4段階の重要度レベルは、人々、環境、組織に及ぼす機械学習意思決定の潜在的影響を構造的に評価する手段を提供する。
• このフレームワークは、セキュリティ、データ品質、プライバシー、倫理の各次元において、MLシステムの包括的評価を可能にする。
• 認証プロセスは、現場経験、科学的進展、市場フィードバックを経て段階的に進化するように設計されている。
• 自律走行ロボットが共有作業空間で運用されるような高リスクAIシステムの将来的な形式的認証基盤を構築する。
• 現在のところ、監査カタログはソフトレビュー形式で適用可能であり、段階的改善を目的としている。