[論文レビュー] Objective task-based evaluation of artificial intelligence-based medical imaging methods: Framework, strategies and role of the physician

Abhinav K. Jha, Kyle J. Myers+6 more|arXiv (Cornell University)|Jul 9, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 61被引用数 7

ひとこと要約

本論文は、PETおよびニューラルネットワーク応用を焦点に、AIベースの医療画像診断法のための標準的で客観的、タスクベースの評価フレームワークを提案する。実用的な評価戦略を提示し、研究設計および解釈における医師の重要な役割を強調するとともに、画像診断モodalities やAI技術に一般化可能な手法を提供する。

ABSTRACT

Artificial intelligence (AI)-based methods are showing promise in multiple medical-imaging applications. Thus, there is substantial interest in clinical translation of these methods, requiring in turn, that they be evaluated rigorously. In this paper, our goal is to lay out a framework for objective task-based evaluation of AI methods. We will also provide a list of tools available in the literature to conduct this evaluation. Further, we outline the important role of physicians in conducting these evaluation studies. The examples in this paper will be proposed in the context of PET with a focus on neural-network-based methods. However, the framework is also applicable to evaluate other medical-imaging modalities and other types of AI methods.

研究の動機と目的

• 臨床現場におけるAIベースの医療画像診断法の評価に向け、強固で客観的なフレームワークを確立すること。
• AI手法の臨床応用が進む中で、信頼性があり標準化された評価の必要性に対応すること。
• 評価結果の臨床的関連性を保証するため、臨床的タスクの定義、適切な指標の選定、評価の妥当性を確保する上で医師の役割が不可欠であることを強調すること。
• 実務におけるタスクベース評価の実装を支援する、既存のツールおよび戦略の包括的リストを提供すること。
• PETやニューラルネットワークにとどまらず、他の画像診断モodalities やAI手法へも一般化可能なフレームワークを拡張すること。

提案手法

• 臨床的関連性の高い診断タスク（例：病変検出、腫瘍負荷推定）を核とするタスクベースの評価フレームワークを提唱する。
• 診断性能を定量化するため、AUC（受診者操作特性曲線下の面積）やFOM（優位性指標）といった観察者性能指標の使用を強調する。
• 臨床的関連性を確保するため、タスク定義、画像解釈、指標選定の各段階で医師の参加を統合する。
• 制御された条件下でAIモデルのトレーニングおよびテストに、デジタル・フォント（デジタル・フォント）とリアルな患者データの使用を推奨する。
• リーダースタディおよび統計解析を用いて、AI手法と放射線科医、従来の手法との比較戦略を提示する。
• 評価フレームワークの実装を支援する、文献に登場する既存のツールおよびソフトウェアライブラリのカタログを提供する。

実験結果

リサーチクエスチョン

• RQ1 AIベースの医療画像診断法を、現実の臨床タスクを反映する形で、どのように客観的に評価できるか？
• RQ2 医療画像におけるAIの評価研究の設計および解釈において、医師が果たすべき役割は何か？
• RQ3 現在、医療画像におけるAIのタスクベース評価を支援するための、利用可能なツールおよび手法は何か？
• RQ4 この評価フレームワークを、さまざまな画像診断モodalities やAIアーキテクチャに一般化するにはどうすればよいか？
• RQ5 信頼性があり再現可能な評価結果を保証するための、主要な性能指標および実験設計は何か？

主な発見

• 提案されたフレームワークにより、臨床意思決定のニーズに適合した、客観的でタスク特異的なAI手法の評価が可能になる。
• 臨床的関連性の高い診断タスクの定義および適切な性能指標の選定において、医師の関与が不可欠である。
• AUC や FOM といった指標を用いたタスクベース評価は、従来の画像品質指標よりも臨床的に意味のある結果を提供する。
• フレームワークは、PETを含むさまざまな画像診断モodalities およびディープラーニングを含むさまざまなAI手法に適応可能である。
• 評価プロセスの実装を支援する、既存のツールおよびソフトウェアの包括的リストが提供されている。
• 制御されたリーダースタディを用いて、AI手法と放射線科医、従来の画像診断技術との間で、厳密な比較が可能になる。