[論文レビュー] A Meta-Evaluation of Faithfulness Metrics for Long-Form Hospital-Course Summarization

Griffin Adams, Jason Zucker+1 more|PubMed|Mar 7, 2023

Topic Modeling参考文献 88被引用数 10

ひとこと要約

本論文は、長文の病院経過要約に対する多様な忠実度指標を、細粒度の臨床専門家の注釈と比較検証し、ドメイン適応、ソース–要約の整合性、指標の蒸留を検討する。短い、文レベルの入力が最も人間との相関を強く示す。

ABSTRACT

Long-form clinical summarization of hospital admissions has real-world significance because of its potential to help both clinicians and patients. The factual consistency of summaries-their faithfulness-is critical to their safe usage in clinical settings. To better understand the limitations of state-of-the-art natural language processing (NLP) systems, as well as the suitability of existing evaluation metrics, we benchmark faithfulness metrics against fine-grained human annotations for model-generated summaries of a patient's Brief Hospital Course. We create a corpus of patient hospital admissions and summaries for a cohort of HIV patients, each with complex medical histories. Annotators are presented with summaries and source notes, and asked to categorize manually highlighted summary elements (clinical entities like conditions and medications as well as actions like "following up") into one of three categories: "Incorrect," "Missing," and "Not in Notes." We meta-evaluate a broad set of faithfulness metrics-proposed for the general NLP domain-by measuring the correlation of metric scores to clinician ratings. Across metrics, we explore the importance of domain adaptation (e.g. the impact of in-domain pre-training and metric fine-tuning), the use of source-summary alignments, and the effects of distilling a single metric from an ensemble. We find that off-the-shelf metrics with no exposure to clinical text correlate well to clinician ratings yet overly rely on copy-and-pasted text. As a practical guide, we observe that most metrics correlate best to clinicians when provided with one summary sentence at a time and a minimal set of supporting sentences from the notes before discharge.

研究の動機と目的

• 長文の病院経過要約に対する文レベルおよび要素レベルの忠実度注釈を収集する。
• HIV患者コホートにおける臨床医の判断と比較して、幅広い忠実度指標をベンチマークする。
• ドメイン適応、入力長、ソース–要約の整合性が指標の性能にどう影響するかを調査する。
• アンサンブル法による指標の組み合わせと、単一の優れた忠実度指標への蒸留を探る。

提案手法

• 大規模な病院経過コーパス上で Longformer Encoder-Decoder (LED) をファインチューニングして長文要約を生成する。
• ホールドアウトされた HIV コホートセット上で専門家の注釈を収集し、要約要素の源ノートに対する忠実度をラベリングする。
• さまざまなドメイン適応、入力長、整合設定の下で、複数の忠実度指標（例：BARTScore、BERTScore、SummaC、CTC）をベンチマークする。
• 各指標について3つのドメイン適応レベルを実装する：Off-The-Shelf（out-of-domain）、Tuned In-Domain、Double In-Domain。
• 複数のソース–要約整合戦略（文レベル、セクションレベル、エンティティチェーン、全入力）を評価し、それらが指標の性能に与える影響を評価する。
• ベースライン指標のアンサンブルから指標を蒸留して、人間の判断との相関を改善する。

実験結果

リサーチクエスチョン

• RQ1 長文の臨床要約において、どのソース入力の粒度が人間の忠実度判断との最も強い相関を生むか？
• RQ2 ドメイン適応（ドメイン内事前学習とチューニング）が臨床の長文要約の指標性能にどのように影響しますか？
• RQ3 異なるソース–要約整合戦略が指標の信頼性と人間の判断との相関に与える影響は？
• RQ4 最適な性能のためには、指標のチューニングを使用シナリオ（チューニング時の整合方法と推論時の整合方法）に合わせるべきですか？
• RQ5 指標のアンサンブルから蒸留して、より優れた単一の忠実度指標を生み出すことができますか？

主な発見

• オフ・ザ・シェルフの指標は人間の判断と相関するが、抽出性を過度に強調する傾向がある。
• 指標は、全要約ではなく文ごとに評価した場合に一般的に人間の判断との相関が最も高い。
• より短く関連性の高いソース整合の方が、全ソース入力を用いるより高く安定した相関を生む。
• ドメイン内適応は生データの相関に制限的な利得をもたらすが、要約的な注釈のサブセットに焦点を当てると利得が出る。
• ベースライン指標のアンサンブルからの蒸留は、個々の指標より専門家ラベルとの相関を改善する。
• エンティティベースおよび整合認識的アプローチ（例：トップセクション、エンティティチェーン整合） は、より広範な戦略と比べて競争力のある性能を示す。