[論文レビュー] "The Human Body is a Black Box": Supporting Clinical Decision-Making with Deep Learning

Mark Sendak, Madeleine Clare Elish+7 more|arXiv (Cornell University)|Nov 19, 2019

Artificial Intelligence in Healthcare and Education参考文献 53被引用数 22

ひとこと要約

この論文は、病院における早期セプシス検出を支援するための臨床ワークフローに統合されたディープラーニングツール、Sepsis Watchを提示する。モデルの解釈可能性にのみ注目するのではなく、文脈的問題定義、ステークホルダーとの協働、臨床的自立性、継続的なフィードバックを重視する社会的・技術的（ソシオテクニカル）な手法を提唱しており、AI医療ツールにおける機関の責任は、モデルの透明性だけではなく、設計の実践に起因することを示している。

ABSTRACT

Machine learning technologies are increasingly developed for use in healthcare. While research communities have focused on creating state-of-the-art models, there has been less focus on real world implementation and the associated challenges to accuracy, fairness, accountability, and transparency that come from actual, situated use. Serious questions remain under examined regarding how to ethically build models, interpret and explain model output, recognize and account for biases, and minimize disruptions to professional expertise and work cultures. We address this gap in the literature and provide a detailed case study covering the development, implementation, and evaluation of Sepsis Watch, a machine learning-driven tool that assists hospital clinicians in the early diagnosis and treatment of sepsis. We, the team that developed and evaluated the tool, discuss our conceptualization of the tool not as a model deployed in the world but instead as a socio-technical system requiring integration into existing social and professional contexts. Rather than focusing on model interpretability to ensure a fair and accountable machine learning, we point toward four key values and practices that should be considered when developing machine learning to support clinical decision-making: rigorously define the problem in context, build relationships with stakeholders, respect professional discretion, and create ongoing feedback loops with stakeholders. Our work has significant implications for future research regarding mechanisms of institutional accountability and considerations for designing machine learning systems. Our work underscores the limits of model interpretability as a solution to ensure transparency, accuracy, and accountability in practice. Instead, our work demonstrates other means and goals to achieve FATML values in design and in practice.

研究の動機と目的

• 医療分野における機械学習の実世界での実装に関するギャップ、特に公平性、責任性、透明性の面を埋めるため。
• AIツールが臨床ワークフローに倫理的かつ効果的に統合され、専門的実践を損なわないようにする方法を検討するため。
• モデルの解釈可能性を主たる解決策とするのではなく、透明性の向上をより広範な設計価値と機関の責任にシフトさせるため。
• Sepsis Watchの開発と展開を、臨床意思決定支援のための責任あるAIの事例研究として評価するため。
• 医療現場における持続的で信頼できるAI統合を保証するための根幹的な価値観と実践を特定するため。

提案手法

• 研究チームは、電子的健康記録（EHR）データを用いてトレーニングされたディープラーニングモデルとしてSepsis Watchを開発し、セプシス発症を予測することを目的とした。
• このツールは単体のモデルとしてではなく、既存の病院のワークフローと臨床意思決定プロセスに埋め込まれた社会的・技術的システムとして設計された。
• 臨床医、病院管理者、ITスタッフとの反復的共同設計を通じて、システムを臨床的文脈と専門的規範に合わせた。
• 実際の使用状況と変化する臨床的ニーズに適応するため、最終ユーザーとの継続的なフィードバックループを統合した。
• 医師の判断を代替するのではなく支援するよう設計することで、臨床的自立性を尊重した。
• 技術的モデル最適化よりも、文脈的問題定義とステークホルダー関係構築を優先した。

実験結果

リサーチクエスチョン

• RQ1 機械学習システムは、専門的自立性を損なわずに、どのように臨床ワークフローに意味的に統合できるか？
• RQ2 モデルの解釈可能性を越えて、公平性、責任性、透明性を確保するための設計価値と実践は何か？
• RQ3 実世界での実装の課題は、医療分野におけるAIツールの正確性と信頼性にどのように影響するか？
• RQ4 フィードバックループとステークホルダー参加は、臨床現場におけるAIシステムの信頼性とパフォーマンスを維持するために果たす役割は何か？
• RQ5 AI医療ツールにおける機関の責任は、モデルの説明可能性に依存するのではなく、社会的・技術的設計によってどのように達成できるか？

主な発見

• Sepsis Watchは病院のワークフローに成功裏に統合され、AIツールが臨床的意思決定を支援するが、医師の判断を置き換えるものではないことを実証した。
• 成功の最も重要な要因はステークホルダーとの協働、文脈的問題定義、継続的なフィードバックループであり、モデルの解釈可能性を上回る重要性を持っていた。
• 臨床医は状況認識の向上と早期のセプシス検出を報告したが、ツールは臨床的熟練を置き換えるものではなかった。
• 本研究では、モデルの解釈可能性だけでは、臨床的AIシステムにおける透明性と責任性を保証することは不十分であることが判明した。
• 機関の責任は、技術的モデル機能ではなく、持続的な設計実践と専門的統合から生じた。
• 社会的・技術的アプローチにより、モデルパフォーマンスに特化したシステムよりも、臨床医の信頼と採用が高まった。