[논문 리뷰] A preliminary study on evaluating Consultation Notes with Post-Editing

Francesco Moramarco, Alex Papadopoulos-Korfiatis외 2명|arXiv (Cornell University)|2021. 04. 09.

Translation Studies and Practices참고 문헌 15인용 수 9

한 줄 요약

이 연구는 의료 분야에서 자동화된 상담 노트 생성을 평가하기 위한 실용적 방법으로 후기 수정(post-editing)을 제안한다. 의료진이 AI가 생성한 노트를 수정하는 방식으로, 처음부터 작성하는 것과 비교하여 시간 절약 효과를 입증한다. 결과적으로 후기 수정 평균 소요 시간은 23분, 초안 작성 평균 소요 시간은 36분으로 나타나, 시간 절약 효과가 있으며 임상 적용 가능성도 제기된다. 다만 의료진의 노트 스타일에 따라 변동성이 존재한다.

ABSTRACT

Automatic summarisation has the potential to aid physicians in streamlining clerical tasks such as note taking. But it is notoriously difficult to evaluate these systems and demonstrate that they are safe to be used in a clinical setting. To circumvent this issue, we propose a semi-automatic approach whereby physicians post-edit generated notes before submitting them. We conduct a preliminary study on the time saving of automatically generated consultation notes with post-editing. Our evaluators are asked to listen to mock consultations and to post-edit three generated notes. We time this and find that it is faster than writing the note from scratch. We present insights and lessons learnt from this experiment.

연구 동기 및 목표

• 임상 환경에서 자동화된 상담 노트 생성 시스템을 평가하는 데 있어, 내재적 지표가 안전성이나 정확성을 보장하지 못할 수 있는 문제를 해결하기 위해.
• 후기 수정 방식으로 AI가 생성한 노트를 편집하는 것이 초안 작성보다 빠른지 확인하기 위해, 실제 적용 가능성을 평가하기 위한 반자동 워크플로우를 활용하여.
• 의료진의 노트 작성 스타일과 생성된 노트의 품질이 후기 수정 시간과 노력에 미치는 영향을 탐색하기 위해.
• 후기 수정 워크플로우에서의 사용성 및 인지 부하 과제를 분석하여 임상 적용에 영향을 주는 요소를 규명하기 위해.
• 후기 수정을 임상 NLP 시스템의 평가 및 구현 전략으로서 실용적이고 시간 효율적인 방법으로 정착시키기 위한 기반을 마련하기 위해.

제안 방법

• 3명의 내과의사가 기밀 데이터셋에서 유래한 57건의 가짜 상담을 대상으로 통제 실험을 수행하였다.
• 각 의사는 상담 녹음을 청취한 후 처음에는 환자 친화적인 노트를 초안으로 작성한 다음, 두 가지 다른 모델에서 생성된 3개의 AI 생성 노트를 후기 수정하였다.
• 두 작업(초안 작성 대비 후기 수정)에 소요된 시간을 측정하고 비교하여 시간 절약 효과를 평가하였다.
• 편집 시간을 기록하고 사용성 및 인지적 노력에 대한 정성적 피드백을 수집하기 위해 전용 애노테이션 플랫폼을 사용하였다.
• 편집 패턴, 노트 품질 점수, 의료진 피드백을 분석하여 일관성, 오류, 워크플로우 영향을 평가하였다.
• 향후 연구에서는 작업 순서를 랜덤화하여 시간 측정 시 순서 편향을 줄이기 위한 계획을 수립하였다.

실험 결과

연구 질문

• RQ1 시뮬레이션된 임상 환경에서 AI 생성 상담 노트의 후기 수정은 초안 작성보다 빠른가?
• RQ2 생성된 노트의 품질(예: 정확성, 완전성)은 후기 수정 시간과 노력에 어떤 영향을 미치는가?
• RQ3 개별 의료진의 노트 작성 스타일이 후기 수정 성능과 시간에 어느 정도의 영향을 미치는가?
• RQ4 후기 수정은 초안 작성에 비해 어떤 인지적 및 사용성 과제를 수반하는가?
• RQ5 후기 수정은 임상 요약 시스템에 대해 신뢰할 수 있는 외재적 평가 지표가 될 수 있는가?

주요 결과

• AI 생성 노트의 후기 수정은 초안 작성보다 유의미하게 빠르며, 평균 23분으로 측정되었고, 초안 작성 평균 소요 시간은 36분이었다.
• 의사가 작성한 기준 노트는 일반적으로 AI 생성 노트보다 후기 수정이 빠르지만, 일부 사례에서는 품질 문제로 인해 AI 노트 후기 수정에 더 오랜 시간이 소요된 경우가 있었다.
• 의료진의 노트 스타일은 다양하게 나타났다: 한 명의 의사는 짧고 간결한 노트를 작성했고, 편집 횟수도 적었으며, 다른 의사는 더 신중하게 작성하여 편집에 더 많은 시간을 할애했다.
• 누락이 많거나 잘못된 진술이 포함된 노트의 경우 편집 소요 시간이 더 길었으며, 이는 품질과 편집 노력 사이에 상관관계가 있음을 시사한다.
• 한 명의 의사는 저품질 노트의 경우 후기 수정을 완전히 포기하고 원래 작성한 노트를 복사해 사용하여 워크플로우의 실패 지점이 드러났다.
• 후기 수정 과정에서 인지 부하가 더 높게 느껴졌으며, 의료진들은 AI 출력을 비판적으로 평가하고 수정하기 위해 요구되는 정신적 노력에 우려를 표명했다.