[論文レビュー] Understanding Behavior of Clinical Models under Domain Shifts

Jayaraman J. Thiagarajan, Deepta Rajan+1 more|arXiv (Cornell University)|Sep 20, 2018

Machine Learning in Healthcare参考文献 7被引用数 9

ひとこと要約

本論文は、MIMIC-III EHRデータセットと1D ResNetモデルを用いて、人口バイアス、ラベル分布のシフト、測定の不一致といった現実的なドメインシフト下で臨床的ディープラーニングモデルを評価するフレームワークを提案する。モデルが過去の若年層や白人主体の患者群で学習された場合、特に疾患の共存パターンが異なる場合、若年層やマイノリティ層に一般化できないことが明らかになった。これは医療分野におけるAIの信頼性に深刻なギャップを生じさせている。

ABSTRACT

The hypothesis that computational models can be reliable enough to be adopted in prognosis and patient care is revolutionizing healthcare. Deep learning, in particular, has been a game changer in building predictive models, thus leading to community-wide data curation efforts. However, due to inherent variabilities in population characteristics and biological systems, these models are often biased to the training datasets. This can be limiting when models are deployed in new environments, when there are systematic domain shifts not known a priori. In this paper, we propose to emulate a large class of domain shifts, that can occur in clinical settings, with a given dataset, and argue that evaluating the behavior of predictive models in light of those shifts is an effective way to quantify their reliability. More specifically, we develop an approach for building realistic scenarios, based on analysis of extit{disease landscapes} in multi-label classification. Using the openly available MIMIC-III EHR dataset for phenotyping, for the first time, our work sheds light into data regimes where deep clinical models can fail to generalize. This work emphasizes the need for novel validation mechanisms driven by real-world domain shifts in AI for healthcare.

研究の動機と目的

• トレーニング中に捉えきれない現実世界のドメインシフト下で、臨床的ディープラーニングモデルがどのように失敗するかを理解すること。
• モデルの一般化に最も深刻な影響を与える具体的なドメインシフトの種類——人口バイアス、ラベル分布のシフト、測定の不一致——を同定すること。
• 多ラベルEHRデータにおける疾患のランドスケープ分析を用いて、臨床的に関連するドメインシフトを模擬する体系的な手法を開発すること。
• MIMIC-III EHRデータセットを用いて、最先端の1D ResNetモデルがこれらのシフト下でどれほど頑健であるかを評価すること。
• 現実世界のドメインシフトに基づく新たな検証メカニズムを提唱し、医療分野におけるAIの信頼性を向上させること。

提案手法

• 25の疾患カテゴリにわたり1人のICU患者あたり76の測定値を持つMIMIC-III EHRデータセットを、多ラベルフェノタイピングに使用する。
• ドメインシフト下でのモデル挙動を評価するために、特定の疾患サブセットを対象にフェノタイピングを二値分類タスクに再定式化する。
• 時系列モデリングに適した1D ResNetモデル（7個の残差ブロック、1D畳み込み、バッチ正則化、ドロップアウト、leaky ReLU活性化関数を搭載）を採用する。
• 疾患の共存パターンを分析し、ドメインシフトのシミュレーションに用いる疾患ランドスケープを構築するために、情報分解を適用する。
• 例として、高齢者→若年層、白人→マイノリティ、男性→女性、単一疾患群→二重疾患群などのソース・ターゲットデータ分割を用いてドメインシフトをシミュレートする。
• 欠損測定値は、最後に観測された値を繰り返すことで補完し、シフトシナリオ全体を通じて重み付きAUPRCを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 年齢、人種、性別などの人口バイアスは、臨床的ディープラーニングモデルの一般化性能にどのように影響するか？
• RQ2 新規または欠落する疾患の組み合わせを含むラベル分布のシフトは、モデルの信頼性にどの程度影響を与えるか？
• RQ3 ラベルノイズやサンプリングレートの変化を含む測定の不一致は、臨床的時系列予測におけるモデル性能にどのように影響するか？
• RQ4 どの種類のドメインシフトが最先端の臨床モデルにおいて最も顕著な性能低下を引き起こすか？
• RQ5 単純な補完戦略は、ドメインシフト下での欠損測定値の影響を軽減できるか？

主な発見

• 高齢者→若年層、白人→マイノリティ、男性→女性といった人口バイアスは顕著な性能低下を引き起こし、AUPRCが0.9から最低0.65まで低下する。
• 疾患の共存パターンが変化する場合、モデルの一般化は著しく劣化する——例として、若年層では冠動脈動脈硬化症がしばしば二次性高血圧症および慢性腎疾患を伴うが、高齢者ではそうではない。
• ソース疾患の部分集合またはスーパーセット（例：単一疾患群→二重疾患群：心疾患のみまたは腎疾患のみ→両方）を含むラベル分布のシフトは、生物学的不確実性に起因して顕著な性能低下を引き起こす。
• ラベルノイズが10％までであればモデルは頑健であるが、20％のラベル反転では著しく性能が低下し、ラベル品質に閾値効果が存在することが示唆される。
• サンプリングレートの変化は性能に悪影響を及ぼし、単純な最後の値補完では一般化性能の回復が不十分である。これは欠損データ補完とは対照的である。
• 高齢者では高血圧症、動脈硬化症、脂質異常症の共存パターンが強いが、そのような共存構造とは異なる疾患構造を持つ集団では、そのようなモデルは一般化に失敗する。