[論文レビュー] ICD Coding from Clinical Text Using Multi-Filter Residual Convolutional Neural Network

Fei Li, Hong Yu|arXiv (Cornell University)|Nov 25, 2019

Topic Modeling参考文献 21被引用数 5

ひとこと要約

本稿では、臨床テキストからのICDコード化を改善するために、マルチフィルタおよびリーマンコンボリューション層を組み合わせた深層学習モデル、MultiResCNNを提案する。多様なテキストパターンを捉え、受容 field を拡大することで、MIMIC-IIIおよびMIMIC-IIデータセットにおいて最先端の性能を達成し、複数の設定で15の評価指標のうち14つで既存モデルを上回った。

ABSTRACT

Automated ICD coding, which assigns the International Classification of Disease codes to patient visits, has attracted much research attention since it can save time and labor for billing. The previous state-of-the-art model utilized one convolutional layer to build document representations for predicting ICD codes. However, the lengths and grammar of text fragments, which are closely related to ICD coding, vary a lot in different documents. Therefore, a flat and fixed-length convolutional architecture may not be capable of learning good document representations. In this paper, we proposed a Multi-Filter Residual Convolutional Neural Network (MultiResCNN) for ICD coding. The innovations of our model are two-folds: it utilizes a multi-filter convolutional layer to capture various text patterns with different lengths and a residual convolutional layer to enlarge the receptive field. We evaluated the effectiveness of our model on the widely-used MIMIC dataset. On the full code set of MIMIC-III, our model outperformed the state-of-the-art model in 4 out of 6 evaluation metrics. On the top-50 code set of MIMIC-III and the full code set of MIMIC-II, our model outperformed all the existing and state-of-the-art models in all evaluation metrics. The code is available at https://github.com/foxlf823/Multi-Filter-Residual-Convolutional-Neural-Network.

研究の動機と目的

• ICDコード化のための文書表現を学習する際、平坦で長さが固定されたコンボリューションアーキテクチャの限界を解消すること。
• 臨床ノートにおけるさまざまな長さや文法的構造を持つテキストパターンを捉えることで、ICDコード化のパフォーマンスを向上させること。
• リーマン接続とマルチスケールフィルタリングを通じて、モデルの深さと表現能力を向上させること。
• 広く使われているMIMICデータセット上でモデルを評価し、最先端のベースラインと比較すること。
• 深く多様なテキスト表現が、ICDコード予測の正確性を顕著に向上させることを示すこと。

提案手法

• モデルは、臨床テキスト内の意味的意味を捉えるために事前学習済みの word2vec 嵼合を入力として使用する。
• マルチフィルタコンボリューション層は、複数のフィルタサイズ（例：3, 4, 5）を用いて、同時にさまざまな長さの局所的パターンを抽出する。
• リーマンブロックをスタックすることで、より深いネットワークアーキテクチャを実現し、勾配消失の問題を緩和する。
• リーマンコンボリューション層は受容 field を拡大し、テキスト内の長距離依存関係を捉える能力を向上させる。
• コンボリューション層の後にアテンション層を適用し、コード予測に重要なトークンを強調する。
• 出力層はシグモイド活性化関数を用い、各ICDコードの確率を独立して予測することで、マルチラベル分類を実現する。

実験結果

リサーチクエスチョン

• RQ1 マルチフィルタコンボリューション層は、さまざまな長さのテキストパターンを捉えることで、ICDコード化の性能を向上させることができるか？
• RQ2 CNNアーキテクチャにリーマン接続を組み込むことで、より深い学習と安定性が向上し、パフォーマンスが向上するか？
• RQ3 提案された MultiResCNN モデルは、最先端のモデルと比較して、マルチラベル ICD コード化タスクでどのように性能を発揮するか？
• RQ4 受容 field の拡大は、臨床テキストにおける ICD コード予測にどのような影響を与えるか？
• RQ5 フィルタサイズやリーマンブロック数などのハイパーパramータは、モデルのパフォーマンスにどの程度の影響を与えるか？

主な発見

• MIMIC-III の全コードセットにおいて、MultiResCNN は最先端モデルを 6 つの評価指標のうち 4 つで上回り、マクロ AUC、ミクロ F1、K=8 および K=15 の精度を含む。
• MIMIC-III のトップ50コードセットおよび MIMIC-II の全コードセットにおいて、MultiResCNN はすべての評価指標で、既存および最先端のモデルを上回った。
• MIMIC-III（全コード）ではミクロ F1 が 0.566、精度@5 が 0.741 を達成し、入力長を 2,500 トークンに制限してもパフォーマンスの低下が最小限に抑えられた。
• ハイパーパramータチューニングの結果、マルチフィルタおよびリーマンコンボリューション層の両方がパフォーマンス向上に顕著に寄与することが確認され、CAML よりもわずか 26 エポックで収束した。
• パramータ数が 1.9 倍に増加し、1 エポックあたりの学習時間が 2.3 倍に延びたものの、一部の設定では CAML よりも推論速度が速かったが、全体的な計算コストは高くなった。
• MIMIC-II において、Perotte 他らの SVM ベースラインより 0.171、Baumel 他らの GRU-attention モデルより 0.098 のミクロ F1 値で上回った。