[論文レビュー] Multi-label natural language processing to identify diagnosis and procedure codes from MIMIC-III inpatient notes

Anita Singh, Mounika Guntu+3 more|arXiv (Cornell University)|Mar 17, 2020

Machine Learning in Healthcare参考文献 9被引用数 15

ひとこと要約

本研究では、MIMIC-III入院ノートからの自動診断および処置コード割り当てを実現する、BERTベースのマルチラベル分類モデルを提案する。トップ50コードにおいて93.76%の正確性と92.24%のF1スコアを達成した。このモデルは、脱識別化された集中治療ケアノートに微調整を施したトランスフォーマー埋め込みを活用し、臨床の請求における効率性を向上させ、エラーを低減する。

ABSTRACT

In the United States, 25% or greater than 200 billion dollars of hospital spending accounts for administrative costs that involve services for medical coding and billing. With the increasing number of patient records, manual assignment of the codes performed is overwhelming, time-consuming and error-prone, causing billing errors. Natural language processing can automate the extraction of codes/labels from unstructured clinical notes, which can aid human coders to save time, increase productivity, and verify medical coding errors. Our objective is to identify appropriate diagnosis and procedure codes from clinical notes by performing multi-label classification. We used de-identified data of critical care patients from the MIMIC-III database and subset the data to select the ten (top-10) and fifty (top-50) most common diagnoses and procedures, which covers 47.45% and 74.12% of all admissions respectively. We implemented state-of-the-art Bidirectional Encoder Representations from Transformers (BERT) to fine-tune the language model on 80% of the data and validated on the remaining 20%. The model achieved an overall accuracy of 87.08%, an F1 score of 85.82%, and an AUC of 91.76% for top-10 codes. For the top-50 codes, our model achieved an overall accuracy of 93.76%, an F1 score of 92.24%, and AUC of 91%. When compared to previously published research, our model outperforms in predicting codes from the clinical text. We discuss approaches to generalize the knowledge discovery process of our MIMIC-BERT to other clinical notes. This can help human coders to save time, prevent backlogs, and additional costs due to coding errors.

研究の動機と目的

• 米国病院の年間支出の2000億ドル以上を占める手動医療コード化の時間と誤り率を低減すること。
• 大量の臨床文書における手動コード化の非効率性とスケーラビリティの問題に対処すること。
• 非構造化臨床ノートをICD-10診断および処置コードに正確にマッピングするマルチラベルNLPモデルを開発すること。
• AI支援コード化によるコーダーの生産性向上と請求エラーの低減を実現すること。

提案手法

• MIMIC-III入院ノートの脱識別化されたデータに、双方向トランスフォーマー基盤言語モデル（BERT）を微調整し、マルチラベル分類を実行する。
• 高い影響力と高い頻度を持つコードタスクに焦点を当て、診断および処置コードの上位10および上位50を選定した。
• データセットを80%の訓練用と20%の検証用に分割し、モデルの汎化性能を評価した。
• 各ノートごとに複数のラベルを予測するために、BERT埋め込みにシーケンス分類ヘッドを適用し、各コードを独立した二値分類タスクとして扱った。
• F1スコアとAUC指標を最適化し、早期停止と学習率スケジューリングを用いてモデル性能を最適化した。
• コード頻度の長尾分布に対処するため、ラベルスムージングとクラスバランシング技術を適用した。

実験結果

リサーチクエスチョン

• RQ1 微調整されたBERTモデルは、臨床ノートに対してマルチラベル分類を効果的に行い、ICD-10診断および処置コードを高い正確性で予測できるか？
• RQ2 MIMIC-IIIデータセットにおいて、上位10個のコードと上位50個のコードを予測する際のモデル性能にどのような差が生じるか？
• RQ3 このアプローチは、実際の医療現場において手動コード化作業の負担をどの程度低減でき、請求エラーを防止できるか？
• RQ4 多様な臨床ノート構造と集中治療記録における用語の多様性に対して、モデルはどの程度汎化性能を示すか？

主な発見

• 上位10の診断および処置コードについて、モデルは87.08%の正確性、85.82%のF1スコア、91.76%のAUCを達成した。
• 上位50のコードでは、93.76%の正確性、92.24%のF1スコア、91%のAUCを達成し、頻出コードに対する強力な汎化性能を示した。
• 非構造化テキストから臨床コードを予測する観点で、既存の発表済み手法を上回ったことから、最先端のパフォーマンスを示した。
• 高いAUCスコアは、すべてのコードカテゴリにおいて陽性ラベルと陰性ラベルを効果的に区別できることを示唆している。
• 結果から、BERTベースのモデルが高い正確性と再現率を維持しながら、手動コード化作業を顕著に削減できることが示された。
• このアプローチは他の臨床ノートシステムにも一般化可能であり、多様な医療環境でのスケーラブルな展開を支援する。