[論文レビュー] Functional requirements to mitigate the Risk of Harm to Patients from Artificial Intelligence in Healthcare

Juan M. García‐Gómez, Vicent Blanes-Selva+3 more|arXiv (Cornell University)|Sep 19, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

本論文は、医療分野におけるAIによる患者への被害を軽減するため、AIパスポート、継続的パフォーマンス評価、説明可能なAIなど14の機能要件を提案する。これらの技術的規格は透明性、責任性、安全性を向上させ、EUの予定されるAI規制枠組みへの準拠を可能にし、バイアス、誤り、悪用のリスクを低減する。

ABSTRACT

The Directorate General for Parliamentary Research Services of the European Parliament has prepared a report to the Members of the European Parliament where they enumerate seven main risks of Artificial Intelligence (AI) in medicine and healthcare: patient harm due to AI errors, misuse of medical AI tools, bias in AI and the perpetuation of existing inequities, lack of transparency, privacy and security issues, gaps in accountability, and obstacles in implementation. In this study, we propose fourteen functional requirements that AI systems may implement to reduce the risks associated with their medical purpose: AI passport, User management, Regulation check, Academic use only disclaimer, data quality assessment, Clinicians double check, Continuous performance evaluation, Audit trail, Continuous usability test, Review of retrospective/simulated cases, Bias check, eXplainable AI, Encryption and use of field-tested libraries, and Semantic interoperability. Our intention here is to provide specific high-level specifications of technical solutions to ensure continuous good performance and use of AI systems to benefit patients in compliance with the future EU regulatory framework.

研究の動機と目的

• ヨーロッパ議会研究サービスが同定した医療分野におけるAIの7つの主なリスク（誤り、バイアス、透明性の欠如による患者への被害など）に対処すること。
• 特に現在および将来のEUの損害賠償枠組み下でのAIベースの医療ツールに対する責任と監視のギャップを埋めること。
• 臨床現場における継続的かつ安全なパフォーマンスと倫理的利用を保証する高水準で実行可能な技術的規格を提供すること。
• AIシステム設計にリスク軽減機能を組み込むことで、EU AI法および関連規則への準拠を支援すること。
• 説明可能な仕組みと検証メカニズムを強化することで、医療従事者がAIツールを安全に意思決定に活用できるようにすること。

提案手法

• リスク軽減フレームワークを用いて、医療分野におけるAIの7つのリスクを特定の機能要件にマッピングした。
• AIパスポート、ユーザー管理、規制チェック、バイアスチェック、継続的ユーザビリティテストなどを含む14の機能要件を提案した。
• 監査ログ、暗号化、実証済みのライブラリ、意味的相互運用性などの技術的コンポONENTを統合し、システムの整合性を確保した。
• 監査ログ、暗号化、実証済みのライブラリ、意味的相互運用性などの技術的コンポONENTを統合し、システムの整合性を確保した。
• チャットボットベースのアンケート（UEQおよびSUS）を活用したリアルタイムのユーザビリティフィードバックを統合し、ユーザー体験を継続的にモニタリングした。
• 説明可能なAI（XAI）と臨床的二重確認メカニズムを組み合わせ、使用前の予測の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 医療分野におけるAIによる患者への被害のリスクを軽減するため、機能要件を体系的に定義する方法は何か？
• RQ2 医療AIシステムの透明性、責任性、継続的パフォーマンス監視を確保するために必要な技術的コンポONENTは何か？
• RQ3 EU AI法のような既存の規制枠組みを、具体的なソフトウェアレベルの機能によってどのように実務化できるか？
• RQ4 臨床現場において、悪用、バイアス、データ品質の問題を防ぐためにAIシステムをどのように設計できるか？
• RQ5 中央集権型プラットフォームは、医療機関全体にわたる準拠性、安全性、監査可能性を備えたAIツールの展開をどのように支援できるか？

主な発見

• 14の機能要件は、ヨーロッパ議会が同定した医療分野におけるAIの7つの主要リスク（誤りやバイアスによる患者への被害を含む）を包括的にカバーする。
• AIパスポートにより、モデルのパフォーマンス、データ品質、トレーニングパラメータのトレーサビリティが可能になり、臨床的検証と規制準拠を支援する。
• 継続的パフォーマンス評価と監査ログにより、AIシステムの行動と臨床利用における責任性をリアルタイムでモニタリングできる。
• ロールベースのアクセス制御と「学術的利用のみ」の免責条項を備えたユーザー管理により、悪用や不正な展開のリスクが低減される。
• 説明可能なAI（XAI）と臨床的二重確認メカニズムの統合により、予測に対する透明性と医師の信頼が向上する。
• The Alephのようなプラットフォームベースのモデルは、ユーザビリティテスト、規制チェック、データ暗号化などの組み込み機能を備えたモジュラーかつ準拠可能なAI展開を支援する。