[論文レビュー] Multimodal Machine Learning for Automated ICD Coding

Keyang Xu, Mike Lam+10 more|arXiv (Cornell University)|Oct 31, 2018

Biomedical Text Mining and Ontologies参考文献 34被引用数 8

ひとこと要約

本論文は、EMRからの非構造化テキスト、準構造化診断、構造化された表形式データを統合するマルチモーダル機械学習フレームワークを提案し、より高い正確性と解釈可能性を実現した ICD-10 コード予測を実現した。テキスト-CNN、意味的類似性モデリング、意思決定木といったモダリティ固有のモデルのアンサンブルに加え、TF-IDF および LIME を用いたエビデンス抽出を実施した結果、マイクロ-F1 は 0.7633、マイクロ-AUC は 0.9541 を達成し、TF-IDF や Text-CNN のベースラインを顕著に上回った。

ABSTRACT

This study presents a multimodal machine learning model to predict ICD-10 diagnostic codes. We developed separate machine learning models that can handle data from different modalities, including unstructured text, semi-structured text and structured tabular data. We further employed an ensemble method to integrate all modality-specific models to generate ICD-10 codes. Key evidence was also extracted to make our prediction more convincing and explainable. We used the Medical Information Mart for Intensive Care III (MIMIC -III) dataset to validate our approach. For ICD code prediction, our best-performing model (micro-F1 = 0.7633, micro-AUC = 0.9541) significantly outperforms other baseline models including TF-IDF (micro-F1 = 0.6721, micro-AUC = 0.7879) and Text-CNN model (micro-F1 = 0.6569, micro-AUC = 0.9235). For interpretability, our approach achieves a Jaccard Similarity Coefficient (JSC) of 0.1806 on text data and 0.3105 on tabular data, where well-trained physicians achieve 0.2780 and 0.5002 respectively.

研究の動機と目的

• EMR内の多様なデータタイプを活用することで、ICD-10コード予測の正確性を向上させる堅牢なマルチモーダル機械学習システムの開発。
• マルチモーダル統合とドメインに特化した特徴工学を用いて、希少なICDコードにおけるデータの不均衡と低予測性能を是正すること。
• 臨床的に関連するエビデンスを非構造化テキストおよび表形式データから抽出することで、モデルの解釈性を向上させ、臨床医の信頼を得ること。
• MIMIC-III データセットを用いてモデルを検証し、TF-IDF や Text-CNN といった既存のベースラインと性能を比較すること。
• 人間のドメイン知識（例：臨床ガイドライン）を機械学習に統合することで、モデルの性能と臨床的関連性が向上することを実証すること。

提案手法

• 非構造化臨床ノートにテキスト-CNN モデルを訓練し、マルチラベル ICD コード分類を実施した。
• 医師が作成した診断と ICD コードの説明との間の意味的類似性を計算するためのディープラーニングモデルを構築した。
• 数値の表形式特徴量（例：検査結果、生命徴）をバイナリ特徴量に変換し、意思決定木を用いて構造化データの ICD コード予測を実施した。
• 3つのモダリティ固有モデルの予測結果を重み付き平均でアンサンブルし、全体の分類性能を向上させた。
• テキストデータのエビデンス抽出には TF-IDF、表形式データのエビデンス抽出には LIME を適用し、モデルの解釈性を向上させた。
• 臨床ガイドラインから導出された認知的 TF-IDF 特徴量をテキスト-CNN モデルに統合し、希少で複雑なコードの性能向上を図った。

実験結果

リサーチクエスチョン

• RQ1 EMR内の複数のデータモダリティ（テキスト、準構造化、表形式）を統合することで、単一モダリティアプローチに比べ、ICD-10 コード予測の正確性が顕著に向上するか？
• RQ2 臨床ガイドラインなどのドメイン固有知識の使用は、ICDコーディングにおける機械学習性能の向上にどの程度効果的か？
• RQ3 エビデンス抽出手法（TF-IDF および LIME）は、自動 ICD コーディング予測の解釈性と臨床的信頼性をどの程度向上させるか？
• RQ4 マルチモーダルアンサンブルは、特に低頻度 ICD コードにおいてデータの不均衡問題を緩和できるか？
• RQ5 モデルのエビデンス抽出性能は、人間がアノテートした医師の解釈と比較して、どの程度関連性と一貫性があるか？

主な発見

• アンサンブルモデルはマイクロ-F1 スコア 0.7633、マイクロ-AUC 0.9541 を達成し、TF-IDF（マイクロ-F1: 0.6721、マイクロ-AUC: 0.7879）および Text-CNN（マイクロ-F1: 0.6569、マイクロ-AUC: 0.9235）のベースラインを顕著に上回った。
• テキストデータにおけるモデルの解釈性性能は、Jaccard Similarity Coefficient (JSC) 0.1806 を達成し、医師のアノテーション（0.2780）と比較して強い一致を示した。
• 表形式データでは、JSC 0.3105 を達成し、医師の結果（0.5002）と比較して、一部の状況で医師よりも関連性の高い特徴を捉えていた。
• 臨床ガイドラインから得た認知的 TF-IDF 特徴量の統合により、特にマクロ平均指標でモデル性能が向上し、臨床NLPにおけるドメイン知識の価値を示した。
• エビデンス抽出により、E11.9 に対して 'DM II' や 'Metformin'、ラボおよび処方データから 'Glucose' や 'Insulin' といった臨床的に関連する用語が同定されたが、これらはテキストのみの分析では顕著ではなかった。
• エビデンス抽出の性能は分類 AUC と相関していた：AUC が高かったクラス（例：>0.9）では、AUC が低いクラス（例：D64.9 で約 0.7）よりもより関連性の高いエビデンスが抽出された。