[論文レビュー] Clinical acceptance of software based on artificial intelligence technologies (radiology)

С. П. Морозов, Anton V. Vladzymyrskyy+5 more|arXiv (Cornell University)|Aug 1, 2019

Artificial Intelligence in Healthcare and Education参考文献 1被引用数 12

ひとこと要約

本論文は、画像診断分野におけるAIベースのソフトウェアの臨床的評価、承認、科学的評価のための手法的フレームワークを提唱しており、規制登録を医療機器として行うために正確性および効率性の評価に焦点を当てている。本論文は、構造化臨床試験およびパフォーマンスベンチマークを通じてAIアルゴリズムを検証するための標準化された手順を提示する。

ABSTRACT

Aim: provide a methodological framework for the process of clinical tests, clinical acceptance, and scientific assessment of algorithms and software based on the artificial intelligence (AI) technologies. Clinical tests are considered as a preparation stage for the software registration as a medical product. The authors propose approaches to evaluate accuracy and efficiency of the AI algorithms for radiology.

研究の動機と目的

• 臨床導入以前の画像診断分野におけるAIベースのソフトウェアを評価するための標準化された手順の欠如に応える。
• 医療機器としての規制登録に備えるための構造的臨床試験アプローチを構築する。
• 医療画像分野におけるAIアルゴリズムの正確性および効率性を評価するにあたり、科学的厳密性と臨床的関連性を確保する。
• 規制承認および臨床的採用を支援するため、画像診断分野におけるAIシステムの再現可能で透明性の高い評価パイプラインを提供する。
• 医療機器基準および臨床的ニーズに適合するパフォーマンスベンチマークおよび検証基準を確立する。

提案手法

• 前臨床検証から始まり、制御された臨床試験に至るまでのマルチステージの臨床試験フレームワークを提唱する。
• 診断正確性を評価するため、感度、特異度、受信者リポジトリック特性曲線下積分（AUC）などのパフォーマンス指標を統合する。
• 研究間での一貫性および再現可能性を確保するため、標準化されたデータ収集およびアノテーションプロトコルを定義する。
• 多様で現実世界の画像データセットを用いた独立した検証を含む段階的評価プロセスを実装する。
• 異なる臨床環境におけるアルゴリズムの信頼性、一般化可能性、耐性を評価するための統計的手法を適用する。
• 臨床的パフォーマンスデータからのフィードバックループを構築し、反復的改善を支援する。

実験結果

リサーチクエスチョン

• RQ1 AIベースの画像診断ソフトウェアの信頼性および再現可能性のある臨床的評価を保証するための方法論的フレームワークは何か？
• RQ2 規制承認前に、AIアルゴリズムの正確性および効率性を体系的にテストする方法は何か？
• RQ3 規制および臨床的実務の観点から、画像診断分野におけるAIソフトウェアの臨床的受容性を定義する基準は何か？
• RQ4 異なるAIシステムおよび画像モodalities間でパフォーマンス指標を標準化する方法は何か？
• RQ5 臨床的検証は、研究段階のAIソフトウェアを規制対象の医療用途に移行させるうえで果たす役割は何か？

主な発見

• 提唱されたフレームワークにより、AIソフトウェアの体系的臨床試験が可能となり、医療機器としての規制登録の前提条件として位置づけられる。
• AUC、感度、特異度などの標準化されたパフォーマンス指標は、診断正確性の客観的評価に不可欠である。
• 多様で現実世界のデータセットを用いた臨床的検証により、画像診断分野におけるAIアルゴリズムの一般化可能性および信頼性が向上する。
• 臨床的パフォーマンスデータからのフィードバックを通じて、AIモデルの反復的改善を支援するフレームワークが実現される。
• 前臨床検証と臨床試験の明確な分離により、透明性および科学的信頼性が向上する。
• この方法論的アプローチは国際的な医療機器評価基準と整合しており、規制承認を容易にする。