[論文レビュー] Model Reporting for Certifiable AI: A Proposal from Merging EU Regulation into AI Development

Danilo Brajovic, Niclas Renner+8 more|arXiv (Cornell University)|Jul 21, 2023

Ethics and Social Impacts of AI被引用数 7

ひとこと要約

本論文は、EU AI法に準拠したAI開発を支援する標準化されたモデル報告フレームワークを提案する—データカードおよびモデルカードに、ユースケースカードと運用カードを追加することで、認証可能で監査可能かつ信頼できるAI開発を実現する。規制要件、研究分野のベストプラクティス、開発者および監査者からの実務的フィードバックを統合することで、ライフサイクル全体にわたる透明性、追跡可能性、コンプライアンスを実現する。本フレームワークは、将来のシステム認証の基盤を築くものである。

ABSTRACT

Despite large progress in Explainable and Safe AI, practitioners suffer from a lack of regulation and standards for AI safety. In this work we merge recent regulation efforts by the European Union and first proposals for AI guidelines with recent trends in research: data and model cards. We propose the use of standardized cards to document AI applications throughout the development process. Our main contribution is the introduction of use-case and operation cards, along with updates for data and model cards to cope with regulatory requirements. We reference both recent research as well as the source of the regulation in our cards and provide references to additional support material and toolboxes whenever possible. The goal is to design cards that help practitioners develop safe AI systems throughout the development process, while enabling efficient third-party auditing of AI applications, being easy to understand, and building trust in the system. Our work incorporates insights from interviews with certification experts as well as developers and individuals working with the developed AI applications.

研究の動機と目的

• 実務におけるAIシステムのための標準化された、規制準拠の文書化の欠如に対処すること。
• 開発ライフサイクル全体にわたり、安全で信頼できる、かつ監査可能なAIシステムの開発を支援すること。
• 新規のEU AI規制と実務的AI開発ワークフローの間のギャップを埋めること。
• 将来の第三者によるAIシステム認証の基盤を提供すること。

提案手法

• データカードおよびモデルカードフレームワークに、ユースケースカードと運用カードの2つの新しいカードタイプを追加する。
• EU AI法および関連標準（例：ISO、CEN、CENELEC）からの規制要件を、具体的な文書化フィールドにマッピングする。
• 追跡可能性と透明性を高めるために、出典となる規制、ガイドライン、ツールボックス、支援資料への参照を統合する。
• 開発者、認証専門家、エンドユーザーとのインタビューから得たフィードバックを統合し、実務的使いやすさを確保する。
• データ、モデル、テスト／展開、運用の4つの主要開発フェーズを中心に文書化を構造化する。
• バージョン管理、アクセス制御、プライバシー、MLOps実践、パフォーマンス監視を強調することで、コンプライアンスと監査可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 AI開発実務が、近い将来に施行予定のEU AI法にどのように適合させれば、コンプライアンスと監査可能性を確保できるか。
• RQ2 規制準拠と第三者監査を支援するため、データカードおよびモデルカードに加えて、どのような追加文書化要素が必要か。
• RQ3 規制要件を開発者にとって体系的かつ実行可能な文書化フィールドにどのようにマッピングできるか。
• RQ4 ステークホルダーからのフィードバックおよび実世界の実装インサイトは、実現可能な認証対応AI報告フレームワークを設計する上で、どのような役割を果たすか。
• RQ5 標準化された報告が、開発段階および運用段階の両方において、透明性、信頼性、追跡可能性をどのように向上させるか。

主な発見

• 提案されたフレームワークは、ユースケースカードおよび運用カードをデータカードおよびモデルカードに追加することで、開発ライフサイクル全体にわたるAIアプリケーションの包括的文書化を可能にする。
• フレームワークは、EU AI法および関連標準からの規制要件を具体的な文書化フィールドにマッピングしており、コンプライアンスと監査可能性を保証する。
• 規制、ガイドライン、ツールボックスへの参照を含めることで、各文書化要件の追跡可能性と透明性が向上する。
• 開発者、認証専門家、エンドユーザーからのフィードバックが効果的に統合され、フレームワークの実務的関連性と使いやすさが向上した。
• フレームワークは、バージョン管理されたコードリポジトリ、定期的な再トレーニング、パフォーマンス監視といったMLOps実践を支援し、継続的なコンプライアンスとシステム信頼性を実現する。
• 本アプローチは、将来のAIシステム認証のための構造的かつ拡張可能な基盤を提供し、開発者が近い将来の法的義務を果たせるように位置づける。