[論文レビュー] Machine learning and AI research for Patient Benefit: 20 Critical Questions on Transparency, Replicability, Ethics and Effectiveness

Sebastian J. Vollmer, Bilal A. Mateen+16 more|arXiv (Cornell University)|Dec 21, 2018

Artificial Intelligence in Healthcare and Education参考文献 33被引用数 17

ひとこと要約

本論文は、医療分野における機械学習およびAI研究の透明性、再現性、倫理的配慮、効果性を高めるために、20の重要な質問を提唱する。このフレームワークは、データ収集から実装まで、研究の全ライフサイクルをカバーするもので、国際的合意形成を目的とした責任ある医療分野におけるAI（AI-TREE）を構築することを目標としており、きめ細やかな、責任ある研究手法を通じて患者の治療成績の向上を図る。

ABSTRACT

Machine learning (ML), artificial intelligence (AI) and other modern statistical methods are providing new opportunities to operationalize previously untapped and rapidly growing sources of data for patient benefit. Whilst there is a lot of promising research currently being undertaken, the literature as a whole lacks: transparency; clear reporting to facilitate replicability; exploration for potential ethical concerns; and, clear demonstrations of effectiveness. There are many reasons for why these issues exist, but one of the most important that we provide a preliminary solution for here is the current lack of ML/AI- specific best practice guidance. Although there is no consensus on what best practice looks in this field, we believe that interdisciplinary groups pursuing research and impact projects in the ML/AI for health domain would benefit from answering a series of questions based on the important issues that exist when undertaking work of this nature. Here we present 20 questions that span the entire project life cycle, from inception, data analysis, and model evaluation, to implementation, as a means to facilitate project planning and post-hoc (structured) independent evaluation. By beginning to answer these questions in different settings, we can start to understand what constitutes a good answer, and we expect that the resulting discussion will be central to developing an international consensus framework for transparent, replicable, ethical and effective research in artificial intelligence (AI-TREE) for health.

研究の動機と目的

• 現在の医療分野におけるML/AI研究における透明性の欠如、再現性の不足、倫理的配慮の不十分さ、実証された有効性の欠如を是正すること。
• AIモデルが臨床現場での実用的利点にまで至るのを妨げる報告および手法上のシステム的欠陥を特定すること。
• 医療分野におけるML/AIプロジェクトの着想段階から実装段階までを支援する、構造的かつ多様な分野の枠組みを提供すること。
• 責任ある医療分野におけるAI（AI-TREE）の国際的合意基準の開発を促進すること。
• 多様な状況に適用可能な一貫した重要な質問のセットを通じて、後行評価およびプロジェクト計画を促進すること。

提案手法

• 医療分野におけるML/AI研究の全ライフサイクルをカバーする20の質問の包括的リストの作成。
• 透明性、再現性、倫理的配慮、有効性という4つの柱を中心に質問を構造化すること。
• 臨床医、データサイエンティスト、倫理学者、医療サービス研究者といった多様な分野の視点を統合すること。
• 前もってのプロジェクト計画と、完了した研究の後行評価の両方を支援するように質問を設計すること。
• データ調達、モデル開発、検証、実装の主要段階に質問を統合し、実務的応用を重視すること。
• 報告基準の向上と研究品質の独立的評価を可能にするため、質問をフレームワークの基盤として活用すること。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、多様な研究チームや機関間で医療分野におけるML/AI研究の透明性と再現性を高められるか？
• RQ2 臨床現場でのAIモデルの開発および導入段階で生じる倫理的リスクは何か。それらは事前にどのように是正できるか？
• RQ3 現在のML/AI研究が、統計的性能を超えて、現実世界での有効性や患者への利益をどれほど示しているのか。
• RQ4 AI研究が科学的に強固であり、かつ倫理的に適切であることを保証するためには、多様な分野の協働をどのように構築すべきか？
• RQ5 医療分野におけるAIの主要な方法論的および倫理的質問に対する「良い」回答の基準は何か。また、それらの合意形成はどのように構築できるか？

主な発見

• 20の質問からなるフレームワークは、医療分野におけるML/AI研究の質と責任性を高める実用的で実行可能なツールを提供する。
• このフレームワークは、研究計画と独立的評価の両方を支援し、研究間での透明性と再現性を強化する。
• 倫理的懸念を早期かつ体系的に取り上げることで、臨床現場における有害または偏ったAI応用のリスクを低減する。
• 質問は、さまざまな医療現場、データタイプ、モデル開発段階に適応可能に設計されている。
• 本論文は、責任ある医療分野におけるAI研究の国際的合意基準（AI-TREE）を構築する基盤を確立する。
• このフレームワークは、患者の利益を実現するための最良の実践の議論と進化を促進することを目的としており、研究の質と臨床応用への移行に測定可能な影響を与える。