[論文レビュー] Improving confidence while predicting trends in temporal disease networks

Djordje Gligorijevic, Jelena Stojanovic+1 more|arXiv (Cornell University)|Mar 28, 2018

Data-Driven Disease Surveillance参考文献 9被引用数 8

ひとこと要約

本論文は、カリフォルニア州入院データベース（SID）ネットワークを用いた時系列疾患動向予測における不確実性推定の向上を目的として、拡張されたガウス型条件付きランダムフィールド（GCRF）モデルであるuGCRFおよびufGCRFを提案する。これらの拡張は、予測精度を維持しつつも、標準GCRFに比べて不確実性の質が著しく優れている。特にufGCRFは、低予測誤差と高信頼性の不確実性推定の両立に最も成功している。

ABSTRACT

For highly sensitive real-world predictive analytic applications such as healthcare and medicine, having good prediction accuracy alone is often not enough. These kinds of applications require a decision making process which uses uncertainty estimation as input whenever possible. Quality of uncertainty estimation is a subject of over or under confident prediction, which is often not addressed in many models. In this paper we show several extensions to the Gaussian Conditional Random Fields model, which aim to provide higher quality uncertainty estimation. These extensions are applied to the temporal disease graph built from the State Inpatient Database (SID) of California, acquired from the HCUP. Our experiments demonstrate benefits of using graph information in modeling temporal disease properties as well as improvements in uncertainty estimation provided by given extensions of the Gaussian Conditional Random Fields method.

研究の動機と目的

• 過剰または過小な自信を持つ予測が臨床意思決定を悪化させる可能性があるため、医療予測モデルにおける信頼性の高い不確実性推定の必要性に対応する。
• 予測精度を損なわずに不確実性の定量化を向上させる構造的変更を施した、標準ガウス型条件付きランダムフィールド（GCRF）の改良を図る。
• HCUP州入院データベース（SID）から得た実世界の時系列疾患ネットワークを用いて、拡張GCRFモデル（uGCRFおよびufGCRF）の性能を評価する。
• グラフ構造と不確実性に配慮したモデリングを組み込むことで、公衆衛生意思決定における信頼性の高い予測が可能になることを示す。
• 構造的で不確実性に配慮したモデリングの利点を浮き彫りにするために、非構造的ベースライン（線形回帰、ガウス過程）と比較する。

提案手法

• HCUP SIDデータベースの3,500万件の入院記録を用いて、CCSスキーマでコード化された253疾患を対象に、時系列疾患共存グラフを構築する。
• 標準GCRFモデルを2つの新バージョンに拡張する：uGCRF（不確実性に配慮したGCRF）およびufGCRF（不確実性および特徴に配慮したGCRF）。これらは尤度関数および事前分布を変更することで、予測の信頼性をより的確に反映する。
• ラグ1、2、3の時系列特徴を統合し、線形回帰（LR）およびガウス過程（GP）のベースラインモデルを比較対象として用いる。
• 構造的推論を用いた最尤推定によりモデルを学習し、予測精度（NLPD）および不確実性のキャリブレーションの両方を最適化する。
• 2011年の12か月間にわたり、253疾患の月次入院率を予測し、予測誤差および不確実性の質の両面で性能を評価する。
• 不確実性推定の質を主たる指標として負の対数予測密度（NLPD）を用い、低い値がよりキャリブレーションされた不確実性を示す。

実験結果

リサーチクエスチョン

• RQ1 GCRFによる構造的モデリングは、非構造的ベースラインと比較して、時系列疾患動向予測の精度を向上させることができるか？
• RQ2 不確実性に配慮した部品を組み込んだGCRFモデル（uGCRFおよびufGCRF）は、元のGCRFに比べてよりキャリブレーションされた不確実性推定を達成できるか？
• RQ3 疾患入院予測における、異なる時系列ラグおよびモデルタイプにおける不確実性推定の性能はどのように変化するか？
• RQ4 不確実性推定の向上は、高リスクの医療応用においてより複雑なモデルを採用することを正当化するほど有意義な水準に達しているか？
• RQ5 提案されたモデル拡張は、標準GCRFおよび非構造的モデルと比較して、低予測誤差を維持しつつも、不確実性の質を著しく向上させることができるか？

主な発見

• ufGCRFモデルは、全12か月にわたり最も低いNLPD値を達成し、信頼性の高い信頼区間を示した。
• 元のGCRFモデルは平均でNLPD = -0.0046の予測誤差が最小であったが、不確実性キャリブレーションは最悪であり、提案された拡張モデルと比較して著しく劣っていた。
• uGCRFおよびufGCRFは両方とも元のGCRFを上回る不確実性推定性能を示し、特に変動が大きい月（例：1月および3月）においてufGCRFが最も一貫した改善を示した。
• 非構造的ベースライン（LRおよびGP）は元のGCRFよりも優れた不確実性推定を示したが、両方のモデルが予測精度および不確実性の質の両面でuGCRFおよびufGCRFに劣っていた。
• ufGCRFは平均NLPDが-0.0089を達成し、元のGCRFの-0.0046を著しく下回っており、12か月にわたる予測期間全体で優れた不確実性キャリブレーションを示した。
• 結果から、不確実性に配慮した構造的モデリングが、特に信頼性の高い不確実性推定が不可欠な高リスク医療応用分野において、より信頼できる予測を可能にすることが示された。