[論文レビュー] The Medical Scribe: Corpus Development and Model Performance Analyses

Izhak Shafran, Nan Du+12 more|arXiv (Cornell University)|Mar 12, 2020

Topic Modeling参考文献 19被引用数 8

ひとこと要約

本稿では、医師と患者の会話音声トランスクリプトから、薬物、症状、疾患といった臨床的概念を抽出するための新規フレームワークを提示する。Span-Attribute Tagging (SAT) モデルを用い、独自のアノテーションスキームを構築し、高い相互アノテーター整合性を示す6,000エピソード分の臨床コーパスを構築した。Fスコアは薬物で0.90、症状で0.72、疾患で0.57を達成し、顕著な誤り分析により、多くのモデル誤りが臨床的に重要でないことが明らかになった。

ABSTRACT

There is a growing interest in creating tools to assist in clinical note generation using the audio of provider-patient encounters. Motivated by this goal and with the help of providers and medical scribes, we developed an annotation scheme to extract relevant clinical concepts. We used this annotation scheme to label a corpus of about 6k clinical encounters. This was used to train a state-of-the-art tagging model. We report ontologies, labeling results, model performances, and detailed analyses of the results. Our results show that the entities related to medications can be extracted with a relatively high accuracy of 0.90 F-score, followed by symptoms at 0.72 F-score, and conditions at 0.57 F-score. In our task, we not only identify where the symptoms are mentioned but also map them to canonical forms as they appear in the clinical notes. Of the different types of errors, in about 19-38% of the cases, we find that the model output was correct, and about 17-32% of the errors do not impact the clinical note. Taken together, the models developed in this work are more useful than the F-scores reflect, making it a promising approach for practical applications.

研究の動機と目的

• 非構造的で口語的な医師-患者の対話から臨床的概念をスケーラブルかつ正確に抽出するための方法を開発すること。
• 自然で非形式的な対話における臨床的エンティティの、堅牢なアノテーションスキームを設計・検証すること。
• 訓練およびベンチマーク用に、6,000件のアノテート済み臨床対話から構成される大規模で独自のコーパスを構築・評価すること。
• Fスコア以外の指標を用いた誤りタイプと臨床的影響の分析を通じて、モデル予測の実世界での有用性を評価すること。
• 今後の自動臨床文書作成に関する研究のための、詳細なアノテーションガイドラインと知見を提供すること。

提案手法

• 口語的会話における臨床的エンティティのラベル付けのための標準的原則を適用した、薬物・症状・疾患の3タスクからなるアノテーションフレームワークを開発した。
• 包括的なオントロジーと反復的なアノテーションガイドラインを設計し、相互アノテーター整合性のチェックとフィードバックループを通じて改善した。
• 医師と医療メモライザーを対象とした、実世界の臨床対話約6,000件を収集・アノテートした独自のコーパスを構築した。
• エンティティのスパンとその属性（例：頻度、場所）を同時に同定する最新鋭のSpan-Attribute Tagging (SAT) モデルを訓練した。
• エンティティの境界が曖昧または複数の会話ターンにまたがる場合の再現率向上のため、ターンレベルのモデリングを適用した。
• 誤りの手動分類を実施し、モデルの失敗モードを分析し、誤りの臨床的影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 句読点や構造的ヒントが欠如する状況下で、非形式的で口語的な医師-患者対話から臨床的エンティティを信頼性高く抽出する方法は何か？
• RQ2 最新のNLPモデルは、音声トランスクリプトからの臨床的概念抽出においてどの程度の性能を示すのか？また、書面の臨床文書との比較ではどうなるか？
• RQ3 モデルの誤りが臨床意思決定にどの程度影響を及えるのか？誤り分析と品質管理により、これを軽減できるか？
• RQ4 複雑な口語的臨床データにおいて、ラベル品質を損なわずにアノテーション効率をどのように向上できるか？
• RQ5 SATとターンレベルモデリングを組み合わせることで、正確性と再現率のバランスを取ることで、全体の抽出性能を向上できるか？

主な発見

• SATモデルは薬物抽出でFスコア0.90を達成し、このエンティティタイプに対して高い信頼性を示した。
• 症状抽出ではFスコア0.72に達し、薬物ほどではないが、依然として強力な性能を示した。
• 疾患抽出はFスコア0.57で最低であり、口語的言語からの臨床的疾患の同定と正規化がより困難であることが示された。
• 約19–38％のモデル予測は誤りとしてラベル付けされていたが、実際には正しかったことから、多くの誤りが根本的な誤予測ではないことが示唆された。
• 約17–32％の誤りは臨床的意味に影響を及えないため、モデルの実用的価値はFスコアが示すものよりも高いことが示された。
• 手動による誤り分析により、SATとターンレベルモデリングを組み合わせることで、正確性と再現率の補完的利点を活かし、性能向上が可能であることが明らかになった。