[論文レビュー] Trust and Medical AI: The challenges we face and the expertise needed to overcome them

Thomas P. Quinn, Manisha Senadeera+3 more|arXiv (Cornell University)|Aug 18, 2020

Artificial Intelligence in Healthcare and Education参考文献 26被引用数 4

ひとこと要約

本稿では、医療AIにおける概念的・技術的・人間的課題に対処するため、デジタル医療分野において開発者、検証者、運用スタッフの3つの専門的エキスパートグループを設立することを提言する。認定教育プログラムとガバナンスフレームワークを整備することで、エキスパート主導のAIシステム開発・検証・臨床統合を通じて、医療AIおよび医療機関への信頼を維持できると主張する。

ABSTRACT

Artificial intelligence (AI) is increasingly of tremendous interest in the medical field. However, failures of medical AI could have serious consequences for both clinical outcomes and the patient experience. These consequences could erode public trust in AI, which could in turn undermine trust in our healthcare institutions. This article makes two contributions. First, it describes the major conceptual, technical, and humanistic challenges in medical AI. Second, it proposes a solution that hinges on the education and accreditation of new expert groups who specialize in the development, verification, and operation of medical AI technologies. These groups will be required to maintain trust in our healthcare institutions.

研究の動機と目的

• 医療分野におけるAIの安全かつ信頼できる導入を阻害する主な概念的・技術的・人間的課題を特定し、それらに対処すること。
• 開発者、検証者、運用スタッフの3つの専門的エキスパートグループに焦点を当てたガバナンスモデルを提言し、医療分野におけるAIの責任ある開発と統合を確保すること。
• 公共の信頼を維持できる新しい人材を育成するため、デジタル医療分野における教育と資格認定を体系化することを提唱すること。
• バイアス、敵対的攻撃、データ漏洩などのリスクを的確に管理することで、医療機関への信頼の損なわれることを防ぐこと。
• 医療分野におけるAIガバナンスを、医療のエビデンスベースド・メディスンの厳密さと、医薬品に適用される基準（例：FDA基準）に準拠すること。

提案手法

• 開発者（AIの設計）、検証者（性能の評価）、運用スタッフ（臨床現場での実装と監視）の3段階の専門的エキスパートフレームワークを提言する。
• コンピュータサイエンティストと臨床医の間での横断的連携を推奨し、AIアプリケーションの医学的関連性と技術的実現可能性を確保すること。
• コンピュータサイエンス、健康科学、医療倫理を統合した学士・大学院課程を導入し、デジタル医療分野の資格認定を推進することを提言する。
• 予測精度を超えて、臨床的影響を評価するため、ランダム化臨床試験などのエビデンスベースド・メディスンの基準をAIモデルの評価に採用することを提唱する。
• 方法論的厳密性を確保するため、倫理的・社会的影響を含む多様な分野の共同レビュー（ピアレビュー）の導入を推奨する。
• 「チューリングステイプ」や規制当局（例：FDA）による監査など、AIシステムを公式に検証するための制度的メカニズムを提言し、医薬品の安全性プロトコルに類似した仕組みを構築すること。

実験結果

リサーチクエスチョン

• RQ1 AIの能力に関する概念的誤解が、臨床現場での安全な導入を損なうメカニズムは何か？
• RQ2 LSTMのようなAIモデルをEEG信号などの複雑な医療データに適用する際の技術的課題は何か。それらはどのように軽減できるか？
• RQ3 バイアス、データ漏洩、敵対的攻撃が、医療AIシステムの信頼性と信頼性を損なうメカニズムは何か？
• RQ4 臨床医とコンピュータサイエンティストの間での横断的連携は、臨床的関連性の高いAIモデルの設計と検証をどのように改善できるか？
• RQ5 エキスパートガバナンスと臨床統合を通じて、長期にわたり医療AIへの信頼を維持するための制度的・教育的改革は何か？

主な発見

• AI研究における研究目的や仮説を明確に定義しないと、たとえば入院患者データで学習させながら、地域社会でのスクリーニング用に導入することを意図するなど、モデル設計に欠陥が生じる可能性がある。
• 過学習とデータ漏洩は、アナリストが正しく理解・対処しなければ、モデルの性能を無効にする重大な技術的リスクである。
• AIシステムは、診断分類や病態生理に合意が得られていない疾患において、訓練データに存在するバイアスを無意識に再現する可能性がある。
• 運用スタッフは、AIの提案が曖昧であるか臨床的関連性がないと感じると、それを受け入れないことが多く、人間中心の設計と医療従事者のAIリテラシー向上の必要性が浮き彫りになる。
• 医療分野におけるAIの公式な検証は、予測精度を超えて、臨床的アウトカムを含めるべきであり、エビデンスベースド・メディスンの基準と同等の基準を用いるべきである。
• 患者の信頼を維持し、責任あるAIの導入を確保するため、認定を受けたデジタル医療教育プログラムと、『デジタルドクター』や『デジタルナース』などの専門的役割の創設が不可欠である。