[論文レビュー] Mimic-IV-ICD: A new benchmark for eXtreme MultiLabel Classification

Thanh-Tung Nguyen, Viktor Schlegel+5 more|arXiv (Cornell University)|Apr 27, 2023

Machine Learning in Healthcare被引用数 4

ひとこと要約

本論文は、MIMIC-IV電子歴史記録データセットを用いた極端な多ラベル ICD コーディングのための新しいオープンベンチマーク、Mimic-IV-ICD を紹介する。このベンチマークは ICD-9 および ICD-10 コードをサポートしており、データ前処理の標準化、複数のディープラーニングモデルの評価、再現可能なベースラインの確立を実現する。MSMN は、コードの説明文統合が優れているため、低頻度コードグループにおいて PLM-ICD を上回る性能を示す。

ABSTRACT

Clinical notes are assigned ICD codes - sets of codes for diagnoses and procedures. In the recent years, predictive machine learning models have been built for automatic ICD coding. However, there is a lack of widely accepted benchmarks for automated ICD coding models based on large-scale public EHR data. This paper proposes a public benchmark suite for ICD-10 coding using a large EHR dataset derived from MIMIC-IV, the most recent public EHR dataset. We implement and compare several popular methods for ICD coding prediction tasks to standardize data preprocessing and establish a comprehensive ICD coding benchmark dataset. This approach fosters reproducibility and model comparison, accelerating progress toward employing automated ICD coding in future studies. Furthermore, we create a new ICD-9 benchmark using MIMIC-IV data, providing more data points and a higher number of ICD codes than MIMIC-III. Our open-source code offers easy access to data processing steps, benchmark creation, and experiment replication for those with MIMIC-IV access, providing insights, guidance, and protocols to efficiently develop ICD coding models.

研究の動機と目的

• 大規模な公開 EHR データを用いた自動 ICD コーディングのための広く受け入れられたベンチマークの欠如に対処すること。
• MIMIC-IV における ICD コーディングタスクのためのデータ前処理およびモデル評価パイプラインを標準化すること。
• 従来のベンチマークよりもコード数が多く、データポイントも多い ICD-9 および ICD-10 コーディングの包括的ベンチマークを確立すること。
• データ処理および実験再現用のオープンソースコードを公開することで、再現可能性を高め、モデル比較を容易にすること。
• 今後の研究に向け、標準化され、公開可能なベンチマークを提供することで、自動 ICD コーディング分野の研究を加速すること。

提案手法

• 著者は、生の MIMIC-IV 臨床ノートを処理し、標準化された手順に従って ICD-9 および ICD-10 コードにマッピングする。
• PLM-ICD や MSMN などの複数のディープラーニングモデルを実装・比較し、ICD コーディング予測に用いる。
• ベンチマークには、フルコード設定および高頻度コード設定が含まれており、ラベルの頻度分布に応じたモデル性能評価にコード頻度グループが用いられる。
• 特に MSMN モデルにおいて、コードの説明文や同義語を統合することで、臨床ノートと ICD コード間の意味的整合性を向上させる。
• MIMIC-IV を利用できる研究者によるデータ処理、ベンチマーク作成、実験再現を可能にする、公開・オープンソースのコードベースをリリースする。
• パイプラインは ICD-9 および ICD-10 コーディングをサポートしており、ICD-10 ベンチマークでは 155,000 個以上のコードを含み、MIMIC-III よりも大幅に拡張されている。

実験結果

リサーチクエスチョン

• RQ1 MIMIC-IV データを用いた極端な多ラベル ICD コーディングタスクにおいて、異なるディープラーニングモデルの性能はどのように異なるか？
• RQ2 コードの説明文や同義語を統合することで、特にレア ICD コードに対してモデル性能にどのような影響があるか？
• RQ3 ICD-10 コーディングタスクにおいて、コード頻度グループ（例：1–10、11–50、51–100、>500）ごとにモデル性能はどのように変化するか？
• RQ4 標準化され、オープンなベンチマークは、再現可能性の向上と自動 ICD コーディング研究の進展を促進できるか？
• RQ5 既存の MIMIC-III ベンチマークと比較して、新しい MIMIC-IV-ICD ベンチマークはデータ量およびコードカバレッジの点でどのように異なるか？

主な発見

• MSMN は、コードの説明文や同義語の統合が優れているため、1–10、11–50、51–100 のコード頻度グループにおいて、マクロ F1 スコアを含め、PLM-ICD を上回る性能を示す。
• PLM-ICD は、>500 のコードグループにおいて MSMN よりも優れた性能を示しており、高頻度ラベルに対して大規模な事前学習言語モデルが優位であることが示された。
• >500 および 101–500 のグループでは、MSMN と PLM-ICD のマクロ F1 の差は 1% であり、MSMN は低頻度カテゴリでより優れた性能を発揮している。
• ベンチマークには 155,000 個を超える ICD-10 コードと、MIMIC-III よりも多くのデータポイントが含まれており、公開可能な ICD コーディングデータのスケールが顕著に拡大された。
• オープンソースのコードベースにより、データ処理およびモデル学習の完全な再現性が実現され、今後の拡張やモデル比較を支援する。
• 結果から、大規模言語モデルと構造化されたコードメタデータ（例：説明文、同義語）を組み合わせることで、稀な ICD コードの性能向上が可能であることが示唆され、有望な今後の研究方向性である。