[論文レビュー] Unmasking Biases and Navigating Pitfalls in the Ophthalmic Artificial Intelligence Lifecycle: A Review

Luis Filipe Nakayama, João Matos+9 more|arXiv (Cornell University)|Oct 8, 2023

Retinal Imaging and Analysis被引用数 5

ひとこと要約

このレビューでは、眼科AIライフサイクルの7段階（データ収集から運用後モニタリングまで）にわたり、バイアスとリスクを特定し、眼科医療における倫理的で公平かつ信頼性の高いAIの導入を確保するための緩和戦略を提案する。臨床応用における被害を防ぐために、各段階で体系的なバイアス検出とガバナンスを強調する。

ABSTRACT

Over the past two decades, exponential growth in data availability, computational power, and newly available modeling techniques has led to an expansion in interest, investment, and research in Artificial Intelligence (AI) applications. Ophthalmology is one of many fields that seek to benefit from AI given the advent of telemedicine screening programs and the use of ancillary imaging. However, before AI can be widely deployed, further work must be done to avoid the pitfalls within the AI lifecycle. This review article breaks down the AI lifecycle into seven steps: data collection; defining the model task; data pre-processing and labeling; model development; model evaluation and validation; deployment; and finally, post-deployment evaluation, monitoring, and system recalibration and delves into the risks for harm at each step and strategies for mitigating them.

研究の動機と目的

• 眼科AIライフサイクルの各段階においてバイアスおよびリスクの原因を体系的に分析すること。
• データ収集、ラベリング、モデル開発、導入の各段階における具体的な障害要因を特定し、臨床的被害を引き起こす要因を明らかにすること。
• 各段階で実行可能な緩和戦略を提案し、AI駆動の眼科医療における公平性、透明性、安全性を向上させること。
• 構造的なライフサイクルガバナンスを通じて、テレメディスンおよびスクリーニングプログラムにおける責任あるAIの導入を支援すること。
• 研究者および臨床医がモデルの一般化能や公平性を損なう一般的な落とし穴を回避するための指針を提供すること。

提案手法

• AIライフサイクルを7つの明確な段階に構造化：データ収集、タスク定義、データ前処理およびラベリング、モデル開発、評価と検証、導入、運用後モニタリング。
• 各段階における潜在的被害（データバイアス、ラベリングの一貫性の欠如、モデルの過適合など）を評価するリスクベースのフレームワークの適用。
• 公平性、解釈可能性、臨床的関連性の原則をモデル開発および検証ワークフローに統合すること。
• 人種的・文化的背景にかかわらず代表的で多様なデータセットと標準化されたラベリングプロトコルの必要性を強調し、人口的・臨床的バイアスを低減すること。
• 変化する現実世界の状況に応じて性能を維持するため、運用後における継続的モニタリングおよび再キャリブレーションメカニズムの提案。
• 臨床医、データサイエンティスト、倫理学者が参加する多職種連携の重要性を提唱し、ライフサイクル全体にわたり推進すること。

実験結果

リサーチクエスチョン

• RQ1 眼科AIライフサイクルの各段階で、主なバイアスおよびリスクの原因は何か？
• RQ2 データ収集およびラベリングの実践が、患者サブグループ間でのモデル性能の差異をどのように生じさせているか？
• RQ3 モデル開発および検証段階で実施可能な、臨床的安心性および公平性を確保する戦略は何か？
• RQ4 運用後モニタリングおよびシステムの再キャリブレーションは、長期的な性能低下およびバイアスの拡大を防ぐのにどのように寄与するか？
• RQ5 責任あるAI導入を実現するための、ガバナンスおよび多職種連携の実践は、眼科医療においてなぜ不可欠か？

主な発見

• バイアスはAIライフサイクル全体に広がっており、特にデータ収集およびラベリング段階が人口的・臨床的不均衡の主な原因である。
• 特に専門外のラベラーによる不適切なラベリング実践は、モデルの誤差および誤診のリスクを顕著に高める。
• 評価段階では、代表されない集団における性能格差を過小評価する傾向があり、検証の多様性が不十分であることが原因である。
• 運用後モニタリングはしばしば軽視され、分布シフトが検出されず、時間の経過とともにモデルの信頼性が低下する。
• 標準化され、透明性があり、多職種連携が図られたワークフローは、バイアスを軽減し、眼科医療における公平なAIの成果を確保するために不可欠である。
• 継続的な再キャリブレーションメカニズムが欠如していると、特に変化する患者集団を伴う現実世界の臨床現場で、モデルドリフトが生じる可能性がある。