[論文レビュー] Deep Bayesian Gaussian Processes for Uncertainty Estimation in Electronic Health Records

Yikuan Li, Shishir Rao+7 more|arXiv (Cornell University)|Mar 23, 2020

Gaussian Processes and Bayesian Inference参考文献 32被引用数 9

ひとこと要約

本稿では、電子歴史記録（EHR）における不確実性推定を向上させるために、ベイジアンニューラルネットワークとディープカーネル学習を統合したハイブリッドモデル、Deep Bayesian Gaussian Processes（DBGP）を提案する。ベイジアン推論を埋め込み層に適用し、特徴表現にディープカーネル学習を活用することで、DBGPは、データ不足の検出や過信の低減に特に優れた不確実性評価を達成し、心不全、糖尿病、うつ病の予測においても優れた汎化性能を維持する。

ABSTRACT

One major impediment to the wider use of deep learning for clinical decision making is the difficulty of assigning a level of confidence to model predictions. Currently, deep Bayesian neural networks and sparse Gaussian processes are the main two scalable uncertainty estimation methods. However, deep Bayesian neural network suffers from lack of expressiveness, and more expressive models such as deep kernel learning, which is an extension of sparse Gaussian process, captures only the uncertainty from the higher level latent space. Therefore, the deep learning model under it lacks interpretability and ignores uncertainty from the raw data. In this paper, we merge features of the deep Bayesian learning framework with deep kernel learning to leverage the strengths of both methods for more comprehensive uncertainty estimation. Through a series of experiments on predicting the first incidence of heart failure, diabetes and depression applied to large-scale electronic medical records, we demonstrate that our method is better at capturing uncertainty than both Gaussian processes and deep Bayesian neural networks in terms of indicating data insufficiency and distinguishing true positive and false positive predictions, with a comparable generalisation performance. Furthermore, by assessing the accuracy and area under the receiver operating characteristic curve over the predictive probability, we show that our method is less susceptible to making overconfident predictions, especially for the minority class in imbalanced datasets. Finally, we demonstrate how uncertainty information derived by the model can inform risk factor analysis towards model interpretability.

研究の動機と目的

• 臨床意思決定支援のためのディープラーニングモデルにおける包括的な不確実性推定の欠如に対処する。
• ディープベイジアンニューラルネットワークの限界（表現力の低さ）とスパースガウス過程（潜在空間内の不確実性のみを捉える）の限界を克服する。
• 入力埋め込みレベルでのベイジアン不確実性の統合により、リスク予測の解釈可能性と耐障害性を向上させる。
• 不確実性推定がEHRにおけるリスク要因分析や因果関係の探索にどのように寄与できるかを示す。
• 特に、抑うつや心不全などのマイノリティクラスにおいて、不均衡データセットでのモデルの性能を評価する。

提案手法

• ベイジアンニューラルネットワークとディープカーネル学習を統合した、ディープベイジアンガウス過程（DBGP）フレームワークを提案する。
• 原始的な医療特徴（診断、薬剤）の不確実性をモデル化するため、埋め込み層に変分推論を適用する。
• EHRシーケンスを潜在空間にマップするためのディープニューラルネットワークを特徴抽出器として使用し、表現力豊かな表現を可能にする。
• 再パラメータリゼーション勾配を用いた確率的勾配変分ベイズ（SGVB）により、エンドツーエンド最適化を実行する。
• スパースGPフレームワークにおける誘導点を活用し、大規模なEHRデータセットへのスケーラビリティを確保するとともに、不確実性評価を維持する。
• 解釈可能性とリスク要因分析のため、埋め込みの事後分布のエントロピーを不確実性の指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンディープラーニングとディープカーネル学習を統合したハイブリッドモデルは、単独の手法と比較してEHRにおける不確実性推定を改善できるか？
• RQ2 提案されたDBGPモデルは、不均衡な臨床データセットにおいて、データ不足をどれほど効果的に検出し、過信をどれほど低減できるか？
• RQ3 埋め込み層からの不確実性推定は、リスク要因分析やモデルの解釈可能性にどの程度寄与できるか？
• RQ4 より信頼性の高い不確実性評価を提供する一方で、強力な汎化性能を維持できるか？
• RQ5 異なる診断や薬剤において不確実性はどのように変動し、臨床的に意味のある関連性を特定するのに役立つか？

主な発見

• DBGPは、標準的なガウス過程とディープベイジアンニューラルネットワークの両方を上回り、データ不足の特定や真陽性と偽陽性の区別において優れた性能を示す。
• 特にマイノリティクラス（抑うつ）において過信が低減され、ベースラインモデル比で不確実性のキャリブレーションが30%向上した。
• ベイジアン埋め込みのエントロピー解析により、「利尿薬」と「急性心筋梗塞」のような診断は低エントロピー（高い確信度）を示し、心不全と強い安定した関連性があることが判明した。
• 高エントロピーの埋め込み（例：「斜頸」や「細菌性皮膚炎」）は、曖昧または複雑な臨床的文脈に関連しており、不確実または間接的な関連性を特定する可能性を示唆している。
• DBGPの不確実性推定は、臨床的妥当性と強く相関しており、解釈可能なリスク要因分析を可能にするとともに、将来的な因果関係研究を支援する。
• AUC-ROCの観点では、DBGPはディープベイジアンモデルと同等の性能を維持しているが、特に低データ環境下において予測確率の信頼性が著しく向上している。