[論文レビュー] ACI-BENCH: a Novel Ambient Clinical Intelligence Dataset for Benchmarking Automatic Visit Note Generation

Wen‐wai Yim, Yujuan Fu+4 more|arXiv (Cornell University)|Jun 3, 2023

Electronic Health Records SystemsHealth Professions被引用数 3

ひとこと要約

本論文は、医師と患者の対話から自動的に臨床ノートを生成するためのベンチマークとして、207件の合成的でロールプレイされた対話-ノートペアを含む、公開可能な最大規模のデータセットであるACI-BENCHを紹介している。BART+FT SAMSumなどの最先端モデルを評価した結果、音声認識（ASR）の誤りが性能にほとんど影響しないことが判明し、臨床的リスクを考慮しても、現在のモデルがトランスクリプションノイズに対して頑健であることが示唆された。

ABSTRACT

Recent immense breakthroughs in generative models such as in GPT4 have precipitated re-imagined ubiquitous usage of these models in all applications. One area that can benefit by improvements in artificial intelligence (AI) is healthcare. The note generation task from doctor-patient encounters, and its associated electronic medical record documentation, is one of the most arduous time-consuming tasks for physicians. It is also a natural prime potential beneficiary to advances in generative models. However with such advances, benchmarking is more critical than ever. Whether studying model weaknesses or developing new evaluation metrics, shared open datasets are an imperative part of understanding the current state-of-the-art. Unfortunately as clinic encounter conversations are not routinely recorded and are difficult to ethically share due to patient confidentiality, there are no sufficiently large clinic dialogue-note datasets to benchmark this task. Here we present the Ambient Clinical Intelligence Benchmark (ACI-BENCH) corpus, the largest dataset to date tackling the problem of AI-assisted note generation from visit dialogue. We also present the benchmark performances of several common state-of-the-art approaches.

研究の動機と目的

• 自動臨床ノート生成システムの学習および評価に用いられる、公開共有可能な大規模データセットの著しい不足に対処すること。
• 現実世界の臨床的対話要約の文脈において、生成モデルを評価するための標準化されたベンチマークを提供すること。
• 臨床データの感受性を鑑み、自動音声認識（ASR）の誤りがノート生成のパフォーマンスに与える影響を調査すること。
• 共通の、倫理的かつ代表的なデータセットを用いて、モデルの強み・弱みおよび評価指標の系統的比較を可能にすること。
• 医師の疲弊を軽減し、ノートの質を向上させるAI支援臨床文書作成ツールの開発を支援すること。

提案手法

• ACI-BENCHデータセットは、1つの学術的医療機関で記録されたロールプレイされた医師-患者対話に基づき構築され、臨床的ノートは訓練を受けた医療アノテーターによって作成された。
• 各対話は、標準的な電子健康記録（EHR）文書作成慣行に従い、医学用語、箇条書き、外部EHRへの参照を含む構造的・準自動的な臨床ノートとペアリングされた。
• モデルのASR誤り耐性を評価するために、ASR変換済みおよび人間が検証済みのトランスクリプトの両方がデータセットに含まれている。
• ROUGE-1、ROUGE-2、ROUGE-L、およびmedcon指標を用いて、複数のテスト分割で、BARTをSAMSumデータセットで微調整したモデル（BART+FT SAMSum）を含むベースラインモデルを評価した。
• トランスクリプション誤りの影響を評価するために、元のASRトランスクリプトとASR補正済みバージョンを用いたパフォーマンスを比較した。
• 学習/検証/テスト分割戦略を採用し、ASR品質がモデル出力に与える影響を分離するためのアブレーション実験も実施した。

Figure 1: Note division example. The same content in a clinical note can appear under different sections. As an example, in the left note, “past medical history” contents are written in the “history” portion of the note on the right. To seperate the full note target into smaller text and minimize da

実験結果

リサーチクエスチョン

• RQ1 最先端の生成モデルは、合成的ではあるが臨床的に現実的な対話-ノートペアで学習および評価された場合、どのように性能を示すか？
• RQ2 対話のトランスクリプションに起因する自動音声認識（ASR）の誤りは、生成された臨床ノートの品質にどの程度影響を与えるか？
• RQ3 ASR変換済みデータで学習したモデルは、人間が検証済みのトランスクリプトに一般化できるか。逆に、人間が検証済みのデータで学習したモデルはASR変換済みデータに一般化できるか？
• RQ4 ROUGE や medcon などの現在の自動評価指標は、生成されたノートにおける臨床的要因の正確性や構造を十分に捉えているか？
• RQ5 生のASRトランスクリプトではなく、ASR補正済みデータで微調整することで、ノート生成のパフォーマンスが顕著に向上するか？

主な発見

• ACI-BENCHデータセットには207件のロールプレイされた対話-ノートペアが含まれており、1ターンあたりの平均ソース長は1302トークン、1ノートあたりのターゲット長は490トークンである。
• 最高のパフォーマンスを示したモデル、BART+FT SAMSumは、ASRトランスクリプトを用いたテストセットでROUGE-Lスコア49.91、medconスコア44.72を達成した。
• ASR補正済みトランスクリプトは、すべての指標で顕著なパフォーマンス向上をもたらさず、F1スコアの差が1ポイント程度に留まった。これは、モデルがASR誤りに対して頑健であることを示している。
• ASR補正済みデータで微調整しても、パフォーマンスは顕著に向上しなかった。これは、現在のモデルがトランスクリプションノイズがあっても一般化できることを示唆している。
• 研究では、ROUGEとmedconスコアが臨床的要因の正確性と一致しない場合があることが判明し、医療NLPタスクにおける評価指標のギャップが浮き彫りになった。
• 合成的であるにもかかわらず、このデータセットは臨床ノート生成モデルの信頼できるベンチマークを可能にし、ASR誤りが現在のモデル設定では許容可能であることが明らかになった。

Figure 2: BERT subtoken lengths of concatenated gold/system summaries (test1 Text-davinci-003 system) for doctor-patient dialogue to clinical note generation task. As embedding-based models require encoding the concatenated reference and hypothesis, on this dataset it would be difficult to fairly ev