[論文レビュー] Fine-tuning foundational models to code diagnoses from veterinary health records
本研究では、コロラド州立大学のバーティカル・ティーチング病院（CSU VTH）の246,473件の手動コード処理済み獣医療EHRノートを用いて、10種類の事前学習済み大規模言語モデル（LLMs）を微調整し、7,739種類の異なるコードをカバーするSNOMED-CT診断コードの自動化を実現した。最高のパフォーマンスは、大規模で臨床特化型のLLMを、広大なラベル付きデータで微調整した場合に達成された。これは、自動化コード化が相互運用性を著しく向上させ、一時的健康（One Health）研究を支援するための跨種間データ統合を可能にすることを示している。
Veterinary medical records represent a large data resource for application to veterinary and One Health clinical research efforts. Use of the data is limited by interoperability challenges including inconsistent data formats and data siloing. Clinical coding using standardized medical terminologies enhances the quality of medical records and facilitates their interoperability with veterinary and human health records from other sites. Previous studies, such as DeepTag and VetTag, evaluated the application of Natural Language Processing (NLP) to automate veterinary diagnosis coding, employing long short-term memory (LSTM) and transformer models to infer a subset of Systemized Nomenclature of Medicine - Clinical Terms (SNOMED-CT) diagnosis codes from free-text clinical notes. This study expands on these efforts by incorporating all 7,739 distinct SNOMED-CT diagnosis codes recognized by the Colorado State University (CSU) Veterinary Teaching Hospital (VTH) and by leveraging the increasing availability of pre-trained language models (LMs). 13 freely-available pre-trained LMs were fine-tuned on the free-text notes from 246,473 manually-coded veterinary patient visits included in the CSU VTH's electronic health records (EHRs), which resulted in superior performance relative to previous efforts. The most accurate results were obtained when expansive labeled data were used to fine-tune relatively large clinical LMs, but the study also showed that comparable results can be obtained using more limited resources and non-clinical LMs. The results of this study contribute to the improvement of the quality of veterinary EHRs by investigating accessible methods for automated coding and support both animal and human health research by paving the way for more integrated and comprehensive health databases that span species and institutions.
研究の動機と目的
- 獣医療記録の不一致および閉じたデータ環境の課題に対処し、標準化された臨床コード化を自動化すること。
- SNOMED-CTなどの標準用語との統合を通じて、獣医療電子健康記録（EHR）の相互運用性を向上させること。
- 共通のコード標準を介して人間と動物の健康記録を連結可能にすることで、One Health研究を支援すること。
- 多様な事前学習済みLLMが自由記述の臨床ノートから獣医療状態を診断する能力を評価すること。
- リソース制限のある環境においてもスケーラブルかつ正確な診断コード化を実現するための最適なモデルおよびデータ構成を同定すること。
提案手法
- コロラド州立大学のVTH EHRシステムから得た246,473件の手動コード処理済み獣医患者訪問データを用いて、10種類の無料で入手可能な事前学習済みLLM（GatorTron、MedicalAI ClinicalBERT、VetBERT、GPT-2の変種など）を微調整した。
- 自由記述の臨床ノートを7,739種類の異なるSNOMED-CT診断コードにマッピングするためのマルチクラス分類フレームワークを採用した。
- OMOP共通データモデル（CDM）を活用してコード化を標準化し、将来的な機関および種間のデータ統合を可能にした。
- 一般用途および臨床特化型LLMを獣医診断コード化タスクに適応させるために、トランスファー学習技術を用いた。
- 多ラベル分類タスクにおいて、F1スコア、精度、再現率といった標準的なNLP指標を用いてモデルのパフォーマンスを評価した。
- 高いコード化精度を達成するにあたり、モデルサイズ、臨床特化度、データ可用性の間のトレードオフを検討した。
実験結果
リサーチクエスチョン
- RQ1事前学習済み大規模言語モデルは、獣医療EHRにおけるSNOMED-CT診断コード化を効果的に自動化できるか？
- RQ2モデルアーキテクチャおよび臨床特化度は、7,739種類の獣医診断コードのコード化精度にどのように影響するか？
- RQ3限定的な獣医データで微調整された場合、非臨床特化型LLMが臨床特化型モデルと同等のパフォーマンスを達成できるか、その程度はいかほどか？
- RQ4トレーニングデータ量は、獣医診断コード化におけるLLMのパフォーマンスにどのような影響を及えるか？
- RQ5微調整済みLLMは、標準化されたSNOMED-CTコード化を通じて、獣医療記録と人間の健康記録の間の相互運用性を実現できるか？
主な発見
- 最も高い診断コード化精度は、246,473件の獣医訪問から得た広大なラベル付きデータを用いて、MedicalAI ClinicalBERT や VetBERT といった大規模で臨床特化型LLMを微調整した場合に達成された。
- GatorTron やその他の大規模で一般用途のLLMを微調整した結果、高いパフォーマンスが得られ、特化型獣医モデルがなくても最新技術水準の結果が達成可能であることが示された。
- 十分なデータで微調整された小規模で非臨床特化型LLM（例：BERT や RoBERTa）を用いることで、同等のコード化精度が達成された。これは、リソース制限のある環境でもスケーラブルである可能性を示している。
- 従来のDeepTag や VetTag といった手法（SNOMED-CTコードのサブセットに限定）に比べ、マルチラベルF1スコアの向上が著しかった。
- OMOP CDMの使用と標準化されたSNOMED-CTコード化により、人間と動物の健康システム間での将来的なデータ連携が可能となり、One Healthイニシャチブを支援する。
- 本研究の結果は、スケーラブルに自動的かつ正確な診断コード化が実現可能であることを示しており、獣医臨床研究におけるデータ品質と相互運用性の向上に寄与する。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。