[논문 리뷰] A Meta-Evaluation of Faithfulness Metrics for Long-Form Hospital-Course Summarization

Griffin Adams, Jason Zucker외 1명|PubMed|2023. 03. 07.

Topic Modeling참고 문헌 88인용 수 10

한 줄 요약

논문은 장기 병원 기록 요약에 대한 다양한 충실도(metrics) 지표를 세밀한 임상의 주석과 비교 벤치마크합니다. 도메인 적응, 소스–요약 정렬, 지표 증류를 검토하고, 더 짧고 문장 단위의 입력이 인간과의 상관관계가 가장 강하다는 것을 발견합니다.

ABSTRACT

Long-form clinical summarization of hospital admissions has real-world significance because of its potential to help both clinicians and patients. The factual consistency of summaries-their faithfulness-is critical to their safe usage in clinical settings. To better understand the limitations of state-of-the-art natural language processing (NLP) systems, as well as the suitability of existing evaluation metrics, we benchmark faithfulness metrics against fine-grained human annotations for model-generated summaries of a patient's Brief Hospital Course. We create a corpus of patient hospital admissions and summaries for a cohort of HIV patients, each with complex medical histories. Annotators are presented with summaries and source notes, and asked to categorize manually highlighted summary elements (clinical entities like conditions and medications as well as actions like "following up") into one of three categories: "Incorrect," "Missing," and "Not in Notes." We meta-evaluate a broad set of faithfulness metrics-proposed for the general NLP domain-by measuring the correlation of metric scores to clinician ratings. Across metrics, we explore the importance of domain adaptation (e.g. the impact of in-domain pre-training and metric fine-tuning), the use of source-summary alignments, and the effects of distilling a single metric from an ensemble. We find that off-the-shelf metrics with no exposure to clinical text correlate well to clinician ratings yet overly rely on copy-and-pasted text. As a practical guide, we observe that most metrics correlate best to clinicians when provided with one summary sentence at a time and a minimal set of supporting sentences from the notes before discharge.

연구 동기 및 목표

• 장기 병원-경과 요약에 대한 세밀하고 문장 및 요소 수준의 충실도 주석을 수집한다.
• HIV 환자 코호트에서 임상의 판단에 대한 요약 요소의 충실도를 라벨링하기 위해 광범위한 충실도 지표를 벤치마크한다.
• 도메인 적응, 입력 길이, 소스–요약 정렬이 지표 성능에 어떤 영향을 미치는지 조사한다.
• 앙상블 방법과 단일 우수 충실도 지표로의 증류를 통해 지표를 결합해 보자.

제안 방법

• Longformer Encoder-Decoder(LED)를 대형 병원-경과 말뭉치에 대해 미세조정하여 장기 요약을 생성한다.
• 소스 노트와의 충실도에 관해 요약 요소의 충실도를 라벨링하기 위해 보유하지 않은 HIV-코호트 세트에서 전문가 주석을 수집한다.
• 다양한 도메인 적응, 입력 길이 및 정렬 설정에서 여러 충실도 지표(BARTScore, BERTScore, SummaC, CTC 등)를 벤치마크한다.
• 각 지표에 대해 Off-The-Shelf(도메인 외), Tuned In-Domain, Double In-Domain의 세 가지 도메인 적응 수준을 구현한다.
• 지표 성능에 대한 영향과 인간 판단과의 상관관계를 평가하기 위해 문장 수준, 섹션 수준, 엔티티-체인 정렬, 전체 입력 등 다양한 소스–요약 정렬 전략을 평가한다.
• 앙상블 지표로부터 단일 지표를 증류하여 인간 판단과의 상관관계를 향상시킨다.

실험 결과

연구 질문

• RQ1 장기 임상 요약에 대해 인간의 충실도 판단과 가장 강하게 상관되는 소스 입력의 단위는 무엇인가?
• RQ2 도메인 적응(도메인 내 사전학습 및 미세조정)이 임상 장기 요약의 지표 성능에 어떤 영향을 미치는가?
• RQ3 다양한 소스–요약 정렬 전략이 지표의 신뢰도 및 인간 판단과의 상관관계에 미치는 영향은 무엇인가?
• RQ4 최적 성능을 위해 지표 튜닝이 사용 시나리오(튜닝 중 정렬 방법 vs 추론 시 정렬 방법)와 정렬 방식에 맞춰야 하는가?
• RQ5 앙상블 지표에서의 증류가 우수한 단일 충실도 지표를 만들어낼 수 있는가?

주요 결과

• 오프더셸프(도메인 외) 지표는 인간 판단과의 상관관계가 있지만 추출적 성향을 과도하게 반영하는 경향이 있다.
• 일반적으로 전체 요약이 아닌 문장 단위로 평가될 때 인간 판단과의 상관관계가 가장 높다.
• 더 짧고 더 관련성 높은 소스 정렬이 전체 소스 입력을 사용하는 것보다 상관관계가 더 높고 안정적이다.
• 도메인 내 적응은 원시 상관관계에서 한계가 있지만 주석의 추상적 하위집합에 집중할 때 이득이 나타난다.
• 앙상블 지표로부터의 증류가 개별 지표보다 전문가 라벨과의 상관관계를 향상시킨다.
• 엔티티 기반 및 정렬 인식 접근법(예: 상위 섹션 정렬, 엔티티 체인 정렬)은 더 넓은 전략에 비해 경쟁력 있는 성능을 제공한다.