[論文レビュー] SACDNet: Towards Early Type 2 Diabetes Prediction with Uncertainty for Electronic Health Records

Tayyab Nasir, Muhammad Kamran Malik|arXiv (Cornell University)|Jan 12, 2023

Artificial Intelligence in Healthcare被引用数 4

ひとこと要約

本稿では、電子歴史記録（EHR）から2型糖尿病（T2DM）を予測するための深層学習モデルであるSACDNetを提案する。SACDNetは、マルチヘッド自己注意機構と密接な層を組み合わせ、89.3%の正解率と89.1%のF1スコアを達成した。信頼性を向上させるために、モンテカルロドロップアウトを統合し、不確実性を定量化することで、低信頼度の予測を特定できるようにした。また、大規模かつ多様な実世界のEHRデータセット（185,891例）を提供し、強固な評価と公平性分析を可能にした。

ABSTRACT

Type 2 diabetes mellitus (T2DM) is one of the most common diseases and a leading cause of death. The problem of early diagnosis of T2DM is challenging and necessary to prevent serious complications. This study proposes a novel neural network architecture for early T2DM prediction using multi-headed self-attention and dense layers to extract features from historic diagnoses, patient vitals, and demographics. The proposed technique is called the Self-Attention for Comorbid Disease Net (SACDNet), achieving an accuracy of 89.3% and an F1-Score of 89.1%, having a 1.6% increased accuracy and 1.3% increased f1-score compared to the baseline techniques. Monte Carlo (MC) Dropout is applied to the SACDNet to get a bayesian approximation. A T2DM prediction framework based on the MC Dropout SACDNet is proposed to quantize the uncertainty associated with the predictions. A T2DM prediction dataset is also built as part of this study which is based on real-world routine Electronic Health Record (EHR) data comprising 4,124 diabetic and 181,767 non-diabetic examples, collected from 295 different EHR systems running in different parts of the United States of America. This dataset is further used to evaluate 7 different machine learning and 3 deep learning-based models. Finally, a detailed analysis of the fairness of every technique against different patient demographic groups is performed to validate the unbiased generalization of the techniques and the diversity of the data.

研究の動機と目的

• 実世界の電子歴史記録（EHR）データを用いて、2型糖尿病（T2DM）の早期予測を目的とした深層学習モデルの開発。
• 小規模、多様性に欠ける、および日常的でない特徴を有する既存のデータセットの限界を克服するため、米国の295のEHRシステムから構築した大規模な実世界のEHRベースのT2DMデータセットの構築。
• モンテカルロドロップアウトを用いた不確実性推定を予測に統合することで、モデルの信頼性を向上。
• 年齢、性別、人種などのデモグラフィックグループにおけるモデルの公平性を評価し、バイアスのない一般化を保証するとともに、データセットの多様性を検証。
• 既存のEHRシステムに統合可能なデプロイ可能なフレームワークを提供し、早期診断を支援するとともに、過信された誤予測を低減する。

提案手法

• SACDNetは、EHRデータ内の歴史的診断から関係性のパターンを抽出するためにマルチヘッド自己注意機構を採用する。
• 密なフィードフォワード層は、患者の生命徴とデモグラフィック特徴を処理し、これらのテーブル入力における非順序的パターンを捉える。
• 注意ベースの特徴と密な特徴を共有された全結合層を介して統合し、最終的なT2DM予測を生成する。
• 推論時にモンテカルロドロップアウトを適用することでベイジアン的不確実性を近似し、確率的信頼度推定を可能にする。
• 出力確率のエントロピーを用いて不確実性を定量化し、低信頼度の予測を不確実なものとして特定できるようにする。
• 295の実世界のシステムから構築された、4,124例の糖尿病例と181,767例の非糖尿病例を含む、画期的なEHRベースのT2DMデータセットを構築。臨床的関連性と多様性を確保するため、厳密な前処理を実施した。

Figure 1: Proposed framework for T2DM prediction with uncertainty.

実験結果

リサーチクエスチョン

• RQ1 マルチヘッド自己注意機構と密接な層を用いた深層学習モデルが、実世界のEHRデータを用いたT2DMの早期予測において、ベースラインモデルを上回る性能を示せるか？
• RQ2 SACDNetにモンテカルロドロップアウトを統合することで、不確実性の定量化により予測の信頼性がどの程度向上するか？
• RQ3 提案されたモデルは、年齢、性別、人種などの多様なデモグラフィックグループでどのように性能を発揮するか。また、データセットは公平な一般化をサポートしているか？
• RQ4 提案されたフレームワークは、不確実なケースに対して高信頼度の予測を避けることができ、過信された誤りを低減するか？
• RQ5 構築されたEHRベースのデータセットは、十分な規模と多様性を備えており、強固でバイアスのないモデルの学習と評価を可能にしているか？

主な発見

• SACDNetは89.3%の正解率と89.1%のF1スコアを達成し、ベースラインモデルと比較して正解率で1.6%、F1スコアで1.3%の向上を示した。
• MCドロップアウトを統合したSACDNet（MC-SACDNet）は、誤分類例をより高いエントロピーで割り当てることで、それらを不確実なものとして特定し、信頼性を向上させた。
• モデルは全人種および性別グループで一貫した性能を示し、評価指標において顕著なバイアスは観察されなかった。
• 小児および未就学児における性能低下は、非糖尿病例のみが存在するデータ不足に起因し、モデルバイアスによるものではなかった。これらのグループの正解率は依然として高かった。
• 不確実性分析の結果、MC-SACDNetは標準SACDNetよりも誤分類例に対して顕著に高いエントロピーを割り当てており、過信された誤りを低減した。
• 295の実世界システムから構築された185,891例のEHRベースのデータセットは、多様性があり、代表的で、一般化可能なモデルの学習と評価を可能にした。

Figure 2: Results of 5 folds cross-validation.