[論文レビュー] Automated clinical coding using off-the-shelf large language models

Joseph S. Boyle, Antanas Kascenas+3 more|arXiv (Cornell University)|Oct 10, 2023

Biomedical Text Mining and Ontologies被引用数 4

ひとこと要約

本論文は、コードの記述に基づくプロンプトによる関連性評価を通じて、オフザシェルの大規模言語モデル（LLM）を用いて、タスク固有の微調整なしにゼロショット・フェイントショットのICDコード化を実現する手法を提案する。ICDコード化を階層的ツリー探索タスクとして定式化することで、LLMが関連するICDコードを抽出する。微調整を一切行わず、希少コードにおいてSOTAのマクロ-F1（0.225）を達成しており、最小限の適応でLLMを自動臨床コード化に活用できる可能性を示している。

ABSTRACT

The task of assigning diagnostic ICD codes to patient hospital admissions is typically performed by expert human coders. Efforts towards automated ICD coding are dominated by supervised deep learning models. However, difficulties in learning to predict the large number of rare codes remain a barrier to adoption in clinical practice. In this work, we leverage off-the-shelf pre-trained generative large language models (LLMs) to develop a practical solution that is suitable for zero-shot and few-shot code assignment, with no need for further task-specific training. Unsupervised pre-training alone does not guarantee precise knowledge of the ICD ontology and specialist clinical coding task, therefore we frame the task as information extraction, providing a description of each coded concept and asking the model to retrieve related mentions. For efficiency, rather than iterating over all codes, we leverage the hierarchical nature of the ICD ontology to sparsely search for relevant codes.

研究の動機と目的

• タスク固有のトレーニングや微調整を一切必要としないゼロショット・フェイントショットICDコード化手法の開発。
• ICD-10オントロジーのインダクティブバイアスを活用することで、自動コード化における希少ICDコードの課題に対処すること。
• ICDツリー上のスパースで階層的な探索戦略を用いることで、リソースが限られた希少ICDコードのパフォーマンスを向上させること。
• オフザシェルLLMが最小限のプロンプトエンジニアリングと再トレーニングなしで臨床コード化を実行できるかどうかを評価すること。
• プロンプトインジェクションと構造化探索を用いることで、LLMが未学習または希少に出現するICDコードに一般化できるかどうかを実証すること。

提案手法

• 本手法はICDコード化を情報抽出タスクとして定式化し、LLMに各ICDコードのテキスト的記述に基づく関連性を評価させるプロンプトを提示する。
• 階層的なICD-10オントロジーを走査するツリーサーチ戦略を採用し、関連性が低いと予想される枝は事前に pruning する。
• コードの記述を含む一貫したプロンプトテンプレートを用いて、各ノードレベル（例：章、ブロック、カテゴリ）で関連性をLLMが評価する。
• 探索はスパースかつ動的である：LLMが関連性があると判断した枝のみをさらに探索するため、計算コストを削減し、全コードの全列挙を回避する。
• プロンプトにICDオントロジーの構造的知識を組み込むことで、LLMの事前学習済み知識に依存するのを減らす。
• パフォーマンス評価は、スパンレベルのアノテーションから要約されたドキュメントレベルラベルを用いたCodiEspデータセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 オフザシェルの生成的LLMは、タスク固有の微調整なしにゼロショットICDコード化を実行できるか？
• RQ2 直接的なプロンプト提示と比較して、階層的ツリーサーチ戦略は希少ICDコードのパフォーマンス向上に寄与するか？
• RQ3 ICDオントロジー構造上でのプロンプトベースの関連性評価は、LLMのドメイン内知識が限られる状況を補うことができるか？
• RQ4 ツリーサーチ手法のパフォーマンスは、希少コードと一般的なコードの両方において、教師ありモデルと比較してどうなるか？
• RQ5 ICDオントロジーの階層的構造は、LLMを用いた効率的かつ正確なコード検索をどの程度可能にするか？

主な発見

• ツリーサーチ手法はCodiEspテストセットにおいて、希少コードでマクロ-F1 0.225を達成し、すべてのベースラインを上回った。
• GPT-4を用いたツリーサーチ戦略はマイクロ-F1 0.157を達成したが、PLM-ICDの0.216および0.219のスコアよりわずかに低かったが、希少クラスでは顕著に優れた性能を示した。
• 本手法は希少ICDコードにおいてSOTAのパフォーマンスを示し、リソースが限られたまたは未学習のコードに一般化できる能力を示した。
• ICDツリーの深いレベルでパフォーマンスが低下し、拡張レベルIIではマイクロリ콜が0.192、マクロリコールが0.216に低下した。これは、深いツリー走査における課題を示している。
• 共通のプロンプトテンプレートはすべてのモデルで機能しなかったため、Llama-2、GPT-3.5、GPT-4それぞれに対して別個のプロンプトエンジニアリングが必要であり、これがLlama-2のパフォーマンスが低かった要因の一つである可能性がある。
• 主な失敗モードとして、互いに排他的なコード（例：B27.89 と B27.80）を同時に予測してしまうことが確認され、コード制約に関する推論の限界が示された。