[論文レビュー] Explainable Medical Imaging AI Needs Human-Centered Design: Guidelines and Evidence from a Systematic Review

Haomin Chen, Catalina Gómez+2 more|arXiv (Cornell University)|Dec 21, 2021

Artificial Intelligence in Healthcare and Education被引用数 7

ひとこと要約

本稿では、透明な機械学習におけるユーザー中心の開発が不足している問題に取り組むために、説明可能な医療画像AIのためのユーザー中心設計フレームワーク「INTRPRTガイドライン」を提案する。形態的ユーザー研究と反復的評価を統合することで、AIシステムが真正な透明性を実現し、臨床的に関連性があり信頼できるものとなる可能性が高まる。

ABSTRACT

Transparency in Machine Learning (ML), attempts to reveal the working mechanisms of complex models. Transparent ML promises to advance human factors engineering goals of human-centered AI in the target users. From a human-centered design perspective, transparency is not a property of the ML model but an affordance, i.e. a relationship between algorithm and user; as a result, iterative prototyping and evaluation with users is critical to attaining adequate solutions that afford transparency. However, following human-centered design principles in healthcare and medical image analysis is challenging due to the limited availability of and access to end users. To investigate the state of transparent ML in medical image analysis, we conducted a systematic review of the literature. Our review reveals multiple severe shortcomings in the design and validation of transparent ML for medical image analysis applications. We find that most studies to date approach transparency as a property of the model itself, similar to task performance, without considering end users during neither development nor evaluation. Additionally, the lack of user research, and the sporadic validation of transparency claims put contemporary research on transparent ML for medical image analysis at risk of being incomprehensible to users, and thus, clinically irrelevant. To alleviate these shortcomings in forthcoming research while acknowledging the challenges of human-centered design in healthcare, we introduce the INTRPRT guideline, a systematic design directive for transparent ML systems in medical image analysis. The INTRPRT guideline suggests formative user research as the first step of transparent model design to understand user needs and domain requirements. Following this process produces evidence to support design choices, and ultimately, increases the likelihood that the algorithms afford transparency.

研究の動機と目的

• 説明可能な医療画像AIにおけるユーザー中心設計の重大なギャップに取り組むこと。現行の研究は計算可能性を優先しており、臨床的使いやすさを軽視している。
• 医療画像における透明なMLモデル開発において、形態的ユーザー研究や実証的検証が欠如していることの特定。
• AIシステム開発の初期段階から人間中心の原則を統合する、体系的な設計フレームワーク「INTRPRT」の提案。
• 完全な実証的評価が困難な状況でも、ユーザー中心設計の導入を支援するための実行可能なガイドラインと代替手法の提供。
• 透明性が臨床ステークホルダーにとって意味的で解釈可能であることを保証することで、人間と機械の連携パフォーマンスの向上。

提案手法

• 2012年1月から2021年7月までの間のPubMed、EMBASE、Compendexから抽出した68件の研究を系統的レビューし、透明な医療画像AI分野における現在の実践を評価。
• モデルの解釈可能性に用いられる代表的な技術として、クラス活性化マップ（CAM）、Grad-CAM、およびその他のサリエンシーに基づく手法を同定。
• 形態的ユーザー研究、文脈理解、ステークホルダー参加を統合した、構造的で反復的な設計プロセスである「INTRPRTガイドライン」を提唱。
• AIの説明が臨床ワークフローとユーザーの認知モデルに適合するようにするため、プロトタイピングと反復的設計の重要性を強調。
• 臨床現場での実現可能性を支援するため、完全なユーザー評価に代わる代替手法（例：専門家インタビュー、ヒューリスティック評価）を提供。
• ユーザー理解、解決策の設計、プロトタイピング、ステークホルダーによる検証という、ユーザー中心設計の主要段階にわたるINTRPRTフレームワークのマッピング。

実験結果

リサーチクエスチョン

• RQ1 現在の説明可能な医療画像AI研究において、モデル開発段階で形態的ユーザー研究がどの程度組み込まれているか。
• RQ2 医療画像分野における透明なMLモデルの設計および評価実践が、ユーザー中心設計の原則とどの程度整合しているか。
• RQ3 放射線科および病理学分野における説明可能なAIシステム開発に、臨床ステークホルダーを統合する際の主な障壁は何か。
• RQ4 アルゴリズム的説明可能性を超えて、ユーザーによる開発を通じてどのように医療AIにおける透明性を意味的に実現できるか。
• RQ5 高リスクの医療画像分野における臨床的に関連性があり信頼できる説明可能なAIシステムの開発を支援する設計フレームワークは何か。

主な発見

• 透明性の主張を実証的ユーザー評価で検証した研究はわずかにとどまり、使いやすさのテストにおける大きなギャップが示された。
• 医療意思決定の重要性にもかかわらず、68件のレビュー対象研究において、開発段階および評価段階の両方でエンドユーザーのニーズがほとんど考慮されていなかった。
• 透明なMLモデルの大多数が、臨床的関連性やユーザー理解よりも、計算可能性を主な駆動要因として開発されていた。
• 臨床ワークフローとユーザー期待を理解する上で不可欠な形態的ユーザー研究は、レビュー対象の全68件の研究で欠落していた。
• 透明なAIの主なモダリティは3Dレントゲン画像（CT、MRI）とウェルスライドイメージ（WSI）であり、複雑で時間のかかる臨床的タスクを反映している。
• WSIからの5クラス分子型分類やスーパーレゾリューションMRIのような応用分野では、人間ベースラインが存在しなかったため、設計仮説の検証に早期のユーザー参加が不可欠であることが浮き彫りになった。