[논문 리뷰] ACI-BENCH: a Novel Ambient Clinical Intelligence Dataset for Benchmarking Automatic Visit Note Generation

Wen‐wai Yim, Yujuan Fu외 4명|arXiv (Cornell University)|2023. 06. 03.

Electronic Health Records SystemsHealth Professions인용 수 3

한 줄 요약

이 논문은 의사-환자 대화에서 자동 임상 노트 생성을 평가하기 위한 가장 큰 공개 데이터셋인 ACI-BENCH를 소개한다. 이 데이터셋은 207개의 합성된 역할극 대화-노트 쌍을 포함한다. BART+FT SAMSum과 같은 최첨단 모델을 평가한 결과, 음성 인식 오류가 성능에 미치는 영향이 미미한 것으로 나타나, 현재 모델들이 전사 오류에 대해 강건함을 시사한다. 이는 임상 데이터의 민감성에도 불구하고 그렇다.

ABSTRACT

Recent immense breakthroughs in generative models such as in GPT4 have precipitated re-imagined ubiquitous usage of these models in all applications. One area that can benefit by improvements in artificial intelligence (AI) is healthcare. The note generation task from doctor-patient encounters, and its associated electronic medical record documentation, is one of the most arduous time-consuming tasks for physicians. It is also a natural prime potential beneficiary to advances in generative models. However with such advances, benchmarking is more critical than ever. Whether studying model weaknesses or developing new evaluation metrics, shared open datasets are an imperative part of understanding the current state-of-the-art. Unfortunately as clinic encounter conversations are not routinely recorded and are difficult to ethically share due to patient confidentiality, there are no sufficiently large clinic dialogue-note datasets to benchmark this task. Here we present the Ambient Clinical Intelligence Benchmark (ACI-BENCH) corpus, the largest dataset to date tackling the problem of AI-assisted note generation from visit dialogue. We also present the benchmark performances of several common state-of-the-art approaches.

연구 동기 및 목표

• 자동 임상 노트 생성 시스템을 훈련하고 평가하기 위한 공개된 대규모 데이터셋의 부족을 해결하기 위해.
• 실제 임상 대화 요약 맥락에서 생성 모델을 평가하기 위한 표준화된 벤치마크를 제공하기 위해.
• 임상 데이터의 민감성에 비추어 볼 때, 자동 음성 인식(ASR) 오류가 노트 생성 성능에 미치는 영향을 조사하기 위해.
• 공동된 윤리적이고 대표적인 데이터셋을 통해 모델의 강점, 약점 및 평가 지표를 체계적으로 비교하기 위해.
• 의사의 번아웃을 줄이고 노트 품질을 향상시키기 위한 AI 보조 임상 기록 도구의 개발을 지원하기 위해.

제안 방법

• ACI-BENCH 데이터셋은 한 개의 학술 의료기관에서 기록한 역할극 의사-환자 대화를 바탕으로 제작되었으며, 임상 노트는 훈련된 의료 애너테이터가 작성했다.
• 각 대화는 표준 전자의료기록(EHR) 문서화 관행을 반영한 구조적이고 반자동적인 임상 노트와 쌍을 이루었으며, 의학 어휘, 번째 목록, 외부 EHR 참조를 포함한다.
• 모델의 음성 인식 오류에 대한 강건성 평가를 위해, ASR 전사본과 인간 검증 전사본이 모두 포함되어 있다.
• ROUGE-1, ROUGE-2, ROUGE-L 및 medcon 지표를 사용하여, 여러 테스트 분할에서 BART를 SAMSum 데이터셋에 맞추어 미세조정한 기준 모델(BART+FT SAMSum)을 평가했다.
• 원본 ASR 전사본과 ASR 보정 버전을 사용한 성능을 비교하여, 전사 오류가 노트 생성 품질에 미치는 영향을 평가했다.
• 학습/검증/테스트 분할 전략을 사용하였으며, 추가로 ASR 품질이 모델 출력에 미치는 영향을 분리하기 위한 추론 실험을 실시했다.

Figure 1: Note division example. The same content in a clinical note can appear under different sections. As an example, in the left note, “past medical history” contents are written in the “history” portion of the note on the right. To seperate the full note target into smaller text and minimize da

실험 결과

연구 질문

• RQ1 최첨단 생성 모델의 성능는 합성적이지만 임상적으로 현실적인 대화-노트 쌍을 기반으로 훈련 및 평가했을 때 어떻게 변할까?
• RQ2 전사된 대화에서 자동 음성 인식(ASR) 오류가 생성된 임상 노트의 품질에 얼마나 큰 영향을 미치는가?
• RQ3 ASR 전사본 데이터로 훈련한 모델은 인간 검증 전사본에 잘 일반화되는가? 그 반대의 경우도 마찬가지인가?
• RQ4 현재 사용 중인 자동 평가 지표(예: ROUGE, medcon)는 생성된 노트의 임상적 사실성과 구조를 충분히 반영할 수 있는가?
• RQ5 원시 ASR 전사본 대비 ASR 보정 데이터로 미세조정하면 노트 생성 성능이 유의미하게 향상되는가?

주요 결과

• ACI-BENCH 데이터셋은 207개의 역할극 대화-노트 쌍을 포함하며, 평균 소스 길이는 1302 토큰, 평균 목표 노트 길이는 490 토큰이다.
• 가장 높은 성능을 보인 모델인 BART+FT SAMSum은 ASR 전사본을 사용한 테스트 세트에서 ROUGE-L 점수 49.91, medcon 점수 44.72를 기록했다.
• ASR 보정 전사본은 성능 향상이 유의미하지 않았으며, 모든 지표에서 약 1점 이내의 F1 차이에 그쳤다. 이는 모델가 ASR 오류에 강건함을 시사한다.
• ASR 보정 데이터로 미세조정해도 성능 향상이 유의미하지 않아, 현재 모델들이 전사 오류가 존재하는 환경에서도 일반화할 수 있음을 시사한다.
• 연구 결과, ROUGE 및 medcon 점수는 항상 임상적 사실성과 일치하지 않아, 의료 NLP 작업에서 평가 지표의 격차를 드러냈다.
• 합성적이지만, 이 데이터셋은 임상 노트 생성 모델의 신뢰할 수 있는 벤치마크를 제공하며, 현재 모델 환경에서는 ASR 오류가 용인 가능하다는 것을 드러냈다.

Figure 2: BERT subtoken lengths of concatenated gold/system summaries (test1 Text-davinci-003 system) for doctor-patient dialogue to clinical note generation task. As embedding-based models require encoding the concatenated reference and hypothesis, on this dataset it would be difficult to fairly ev