[論文レビュー] Learning from the experts: From expert systems to machine-learned diagnosis models

Murali Ravuri, Anitha Kannan+2 more|arXiv (Cornell University)|Apr 21, 2018

Machine Learning in Healthcare参考文献 21被引用数 15

ひとこと要約

本論文では、医療診断における深層学習モデルのための合成トレーニングデータを生成するため、エキスパートシステムを生成モデルとして用いるハイブリッドアプローチを提案する。この合成データに加え、実際の電子歴史記録（EHR）データを用いてトレーニングした結果、単体のエキスパートシステムに比べて高い精度と耐性を達成した一方で、新しい疾患への柔軟な拡張性と実臨床データとの統合を可能にした。

ABSTRACT

Expert diagnostic support systems have been extensively studied. The practical applications of these systems in real-world scenarios have been somewhat limited due to well-understood shortcomings, such as lack of extensibility. More recently, machine-learned models for medical diagnosis have gained momentum, since they can learn and generalize patterns found in very large datasets like electronic health records. These models also have shortcomings - in particular, there is no easy way to incorporate prior knowledge from existing literature or experts. In this paper, we present a method to merge both approaches by using expert systems as generative models that create simulated data on which models can be learned. We demonstrate that such a learned model not only preserves the original properties of the expert systems but also addresses some of their limitations. Furthermore, we show how this approach can also be used as the starting point to combine expert knowledge with knowledge extracted from other data sources, such as electronic health records.

研究の動機と目的

• 従来のエキスパートシステムが直面する、拡張性の低さや保守コストの高さといった限界を解消すること。
• 完全にデータドリブンな機械学習モデルに、事前の医学的知識を統合する課題を克服すること。
• エキスパートシステムの信頼性を保持しつつ、機械学習による柔軟性を高める手法を開発すること。
• 実臨床のEHRデータとエキスパートが生成した合成データを統合し、より優れた診断モデリングを実現すること。
• エキスパートが模擬したデータと実際のEHRデータでトレーニングされたハイブリッドモデルが、単体のエキスパートシステムや純粋なMLモデルを上回ることを実証すること。

提案手法

• 既存のエキスパートシステム（Sim-250）を生成モデルとして用い、症状・所見・診断を伴う患者症例をシミュレートする。
• MIMIC-III EHRデータから250の疾患に加え7つの新規疾患を含む合成データセットを生成し、所見と疾患との間で一貫性のあるマッピングを確保する。
• MIMIC-IIIのエキスパートが模擬した症例と実際のEHR症例を組み合わせたデータセットから、深層ニューラルネットワーク（DNN）を新規にトレーニングする。
• 合成データおよび実世界のテストセットの両方でモデルのパフォーマンスを検証し、MIMIC-III症例における疾患固有の評価も実施する。
• データノイズへの耐性を評価するため、特定の疾患（例：未熟児症候群および硬膜下出血）のサブセットで再トレーニングを行い、アブレーションスタディを実施する。
• トップ1およびトップ3の正確度を評価指標として用い、異なるトレーニングおよびテスト設定間でのパフォーマンスを比較する。

実験結果

リサーチクエスチョン

• RQ1 エキスパートシステムを効果的にデータ生成ツールとして再利用することで、機械学習による診断モデルをトレーニングできるか？
• RQ2 合成されたエキスパート生成データと実際のEHRデータを組み合わせることで、診断モデルの精度と耐性が向上するか？
• RQ3 ハイブリッドモデルは、元のエキスパートシステムに存在しなかった新規疾患に対しても一般化可能か？
• RQ4 ノイズが多い、または臨床的表現が多様なEHRデータでトレーニングされた場合、モデルのパフォーマンスはどのように変化するか？
• RQ5 ハイブリッドアプローチは、エキスパートシステムの信頼性を維持しつつ、スケーラビリティと拡張性を実現できるか？

主な発見

• エキスパートが模擬したデータとMIMIC-IIIのEHRデータの両方を用いてトレーニングしたモデルは、7つの新規疾患についてMIMIC-IIIテストセットでトップ1の正確度が0.63に達し、ベースラインのエキスパートシステムを著しく上回った。
• 未熟児症候群および硬膜下出血の2疾患について、データの一貫性を向上させた上で再トレーニングした結果、これらの疾患におけるMIMIC-IIIテストセットでのトップ1正確度が0.99に達した。
• 元の7疾患テストセットでのパフォーマンス低下は、MIMIC-IIIデータセットにおける所見と診断の間のノイズの多いマッピングに起因すると判明し、特定の再トレーニングによって裏付けられた。
• ハイブリッドモデルはデータノイズに強く、特にEHRデータにおける臨床的表現の多様性に合致するように疾患プロファイルを精錬した場合、一般化性能が向上した。
• このアプローチは、元のエキスパートシステムの特性を効果的に保持しつつ、新規疾患への拡張と実世界のデータソースとの統合を可能にした。
• モデルは合成データおよび実世界のテストセットの両方で高い正確度を維持したため、優れた一般化性能と耐性を示した。