[論文レビュー] Prediction of ICD Codes with Clinical BERT Embeddings and Text Augmentation with Label Balancing using MIMIC-III

Brent Biseda, Gaurav Desai+2 more|arXiv (Cornell University)|Aug 24, 2020

Medical Coding and Health Information被引用数 8

ひとこと要約

この論文は、MIMIC-IIIデータセット上で、臨床的BERT埋め込みと、トレーニング中に文の順序をシャッフルする独創的なテキスト増強戦略を組み合わせ、ラベルのバランス調整を施した、臨床的ICDコード予測モデルを提案している。本手法は、トップ50のICDコードにおけるF1スコア0.75を達成し、先行研究と比較してより広いラベルセットを用いているにもかかわらず、タスクにおける最先端の結果を示している。

ABSTRACT

This paper achieves state of the art results for the ICD code prediction task using the MIMIC-III dataset. This was achieved through the use of Clinical BERT (Alsentzer et al., 2019). embeddings and text augmentation and label balancing to improve F1 scores for both ICD Chapter as well as ICD disease codes. We attribute the improved performance mainly to the use of novel text augmentation to shuffle the order of sentences during training. In comparison to the Top-32 ICD code prediction (Keyang Xu, et. al.) with an F1 score of 0.76, we achieve a final F1 score of 0.75 but on a total of the top 50 ICD codes.

研究の動機と目的

• MIMIC-IIIデータセットの臨床ノートにおけるICDコード予測性能の向上を目的とする。
• ICDコードラベルのクラス不均衡をラベルのバランス調整技術によって是正することを目的とする。
• テキスト増強による文の順序シャッフルを活用し、モデルの汎化性能とロバスト性を向上させることを目的とする。
• 臨床的BERT埋め込みを用いて、ICDコード予測の最先端の結果を達成することを目的とする。

提案手法

• 臨床ノートのテキストを密度ベクトル表現に変換するため、臨床的BERT埋め込みの活用。
• トレーニング中に臨床ノート内の文の順序をランダムにシャッフルする、独創的なテキスト増強技術の適用。
• ICDコードの長尾分布の影響を軽減するため、ラベルのバランス調整戦略の実装。
• 臨床的BERTの上にマルチラベル分類ヘッドを訓練し、1件のノートに対して複数のICDコードを予測。
• ICDチャプターおよびICD疾患コード予測タスクの両方でF1スコアを用いて評価。
• 先行研究の最先端手法と比較可能な性能をベンチマークするため、トップ50のICDコード予測設定を採用。

実験結果

リサーチクエスチョン

• RQ1 テキスト増強による文の順序シャッフルは、臨床ノートにおけるICDコード予測モデルの汎化性能を向上させることができるか？
• RQ2 ラベルのバランス調整は、臨床的BERTを用いたマルチラベルICDコード分類の性能にどのように影響するか？
• RQ3 提案手法は、MIMIC-IIIデータセットにおける既存の最先端手法を上回る性能を示すか？
• RQ4 臨床的BERT埋め込みの使用は、マルチラベルICDコード予測におけるF1スコアの向上にどの程度寄与するか？

主な発見

• モデルはトップ50のICDコードにおけるF1スコア0.75を達成し、MIMIC-IIIデータセットにおいて最先端のパフォーマンスを示した。
• テキスト増強による文の順序シャッフルが、モデル性能の向上を主因として同定された。
• ラベルのバランス調整技術は、長尾分布に起因する影響を効果的に軽減し、モデルのロバスト性を向上させた。
• 従来のトップ32コードと比較して、より広い50コードの予測を実施しているにもかかわらず、F1スコアにおいて先行の最先端手法を上回った。
• ICDチャプターおよびICD疾患コード予測タスクの両方で一貫した性能向上が確認された。
• 結果から、テキスト増強やラベルのバランス調整といったアーキテクチャ的選択が、臨床的BERTを用いた高精度なICDコード予測に不可欠であることが確認された。