[論文レビュー] PLM-ICD: Automatic ICD Coding with Pretrained Language Models

Chao-Wei Huang, Shang-Chi Tsai+1 more|arXiv (Cornell University)|Jul 12, 2022

Topic Modeling被引用数 4

ひとこと要約

この論文は、大規模なラベル空間、長い入力シーケンス、ドメイン不一致という3つの主要な課題に対処することで、事前学習言語モデル（PLM）を活用した自動ICDコーディングのためのフレームワーク、PLM-ICDを提案する。ドメイン固有の事前学習、セグメントプーリング、ラベルアテンションメカニズムを統合することにより、PLM-ICDはMIMIC-3データセットで最先端のパフォーマンスを達成し、マイクロ-F1が59.8%、マイクロ-AUCが88.65%を記録した。

ABSTRACT

Automatically classifying electronic health records (EHRs) into diagnostic codes has been challenging to the NLP community. State-of-the-art methods treated this problem as a multilabel classification problem and proposed various architectures to model this problem. However, these systems did not leverage the superb performance of pretrained language models, which achieved superb performance on natural language understanding tasks. Prior work has shown that pretrained language models underperformed on this task with the regular finetuning scheme. Therefore, this paper aims at analyzing the causes of the underperformance and developing a framework for automatic ICD coding with pretrained language models. We spotted three main issues through the experiments: 1) large label space, 2) long input sequences, and 3) domain mismatch between pretraining and fine-tuning. We propose PLMICD, a framework that tackles the challenges with various strategies. The experimental results show that our proposed framework can overcome the challenges and achieves state-of-the-art performance in terms of multiple metrics on the benchmark MIMIC data. The source code is available at https://github.com/MiuLab/PLM-ICD

研究の動機と目的

• 他のNLPタスクでの成功にもかかわらず、自動ICDコーディングにおける事前学習言語モデル（PLM）の性能不足を解決すること。
• 大規模なラベル空間、PLMのコンテキスト長を超える長い入力シーケンス、一般ドメインの事前学習と臨床テキストとの間のドメイン不一致という3つの核心的課題を特定し、解決すること。
• マルチラベル、長文シーケンス、ドメイン特化型のICDコーディングに適した、統合されたフレームワークを構築すること。
• 類似する特徴を有する医療NLPタスクにおけるPLMのファインチューニングのベストプラクティスを確立すること。
• 適切に適合されたPLMベースのモデルが、ICDコーディングベンチマークで競争的または優れたパフォーマンスを達成できることを示すこと。

提案手法

• 一般ドメインの事前学習と臨床テキストの間のドメイン不一致を軽減するため、医療コーパスを用いたドメイン固有の事前学習を実施する。
• 入力を重複するセグメントに分割し、各セグメントをPLMでエンコードした後、表現をアグリゲートすることで、長大な臨床ノートを処理するセグメントプーリングを実装する。
• PLMの隠れ表現と各ICDラベルの間に独立してアテンションスコアを計算するラベルアテンションメカニズムを統合し、効果的なマルチラベル分類を実現する。
• サブワードトークン化を用い、カスタムボキャブラリー（例：PubMedBERT、RoBERTa-PM）を活用することで、医療用語の過剰な分解を低減し、カバレッジを向上させる。
• 学習率スケジューリングとウォームアップを用いたファインチューニングプロセスを最適化し、ハイパーパramータへの感受性を示す。
• 異なるPLMアーキテクチャとアテンションメカニズムを評価・比較し、ICDコーディングに最も効果的な構成を同定する。

実験結果

リサーチクエスチョン

• RQ1 標準的なファインチューニング手法が、自動ICDコーディングにおけるPLMの潜在能力を十分に活用できないのはなぜか？
• RQ2 長い入力シーケンスと大きなラベル集合は、臨床テキスト分類におけるPLMパフォーマンスにどのように影響するか？
• RQ3 一般ドメインの事前学習と臨床テキストとの間のドメイン不一致は、PLMパフォーマンスにどの程度影響を及えるか？
• RQ4 アーキテクチャ的およびトレーニング戦略のどの組み合わせが、PLMを用いたICDコーディングにおいて最適なパフォーマンスをもたらすか？
• RQ5 最終的なパフォーマンスに顕著な影響を与える主要なハイパーパramータと設計選択は何か？

主な発見

• PLM-ICDはMIMIC-3の完全なテストセットでマイクロ-F1が59.8%、マイクロ-AUCが88.65%を達成し、先行するPLMベースのモデルを上回った。
• LAATのラベルアテンションメカニズムが最良のパフォーマンス（マクロ-F1 10.4%）を示し、CAML（8.7%）やBERT-XML（8.2%）を著しく上回った。
• セグメントプーリングはHIER-BERT（2.8%マクロ-F1）およびLongformer（5.1%マクロ-F1）を上回り、長大な臨床ノート処理における有効性を示した。
• ドキュメント最大長を3,072トークン、セグメント長を128に設定することで、パフォーマンスと計算コストの最適なトレードオフが達成された。
• 学習率とウォームアップスケジュールは極めて重要である：学習率を2e-5に低下させるとパフォーマンスが約3%低下し、一定の学習率を用いると約4%低下した。
• ドメイン固有のボキャブラリー（例：PubMedBERT、RoBERTa-PM）を搭載したモデルは、標準ボキャブラリーを有するBERTベースのモデルに比べ、パフォーマンスが高く、過剰な分解も抑制された。