[論文レビュー] Towards objectively evaluating the quality of generated medical summaries

Francesco Moramarco, Damir Jurić+2 more|arXiv (Cornell University)|Apr 9, 2021

Biomedical Text Mining and Ontologies被引用数 6

ひとこと要約

本稿では、人間の評価者に医療的要因を抽出・比較させることで、医療テキスト要約の客観的評価を可能にする要因数え手法を提案している。この手法により、要因の粒度のばらつきにもかかわらず、導出された指標における高い評価者間一貫性が得られ、微調整された BART-Med が全指標で最高スコアを記録した。これは、生成された要約における事実的一致性が強く、幻覚が最小限に抑えられていることを示している。

ABSTRACT

We propose a method for evaluating the quality of generated text by asking evaluators to count facts, and computing precision, recall, f-score, and accuracy from the raw counts. We believe this approach leads to a more objective and easier to reproduce evaluation. We apply this to the task of medical report summarisation, where measuring objective quality and accuracy is of paramount importance.

研究の動機と目的

• 医療テキスト要約の品質評価における主観性を低減する、より客観的かつ再現可能な人間評価手法の開発。
• 事実の正確性と完全性に焦点を当て、再利用された医療データセットを用いて最先端のテキスト要約モデルを評価すること。
• 要因数えに基づく指標が、従来のリッカート尺度評価と比較して、医療NLG評価においてより高い評価者間一貫性を示すかどうかの評価。
• 制御された人間評価プロトコルを用いて、抽象的要約モデルと抽出的要約モデルにおける、特に幻覚の行動を特定すること。

提案手法

• 評価者は、例に基づくガイドラインを2つ用いて、生成された要約に含まれる医療的要因を抽出し、参照記述と比較するよう指示される。
• 参照要因（R）、生成要因（G）、正しく特定された要因（G&R）の原単位数を用いて、正確性、再現率、Fスコア、正答率を計算する。
• 3名の一般診療医を評価者として、Heartex Annotation Platform 上のカスタムタスクを用いて評価を実施する。
• 評価者間一貫性は、原単位の要因数と導出指標の両方に対してクリッペンドルフのアルファを用いて測定され、信頼性の妥当性が検証される。
• 本手法は、Lead-3（ベースライン）、BERT-Ext（抽出的）、Pegasus-CNN（抽象的）、微調整済み BART-Med（抽象的）の4つのモデルに適用された。
• 要因の粒度のばらつきとその導出指標への影響を分析するため、一貫性の分解が行われた。

実験結果

リサーチクエスチョン

• RQ1 要因数えアプローチは、医療テキスト要約の人間評価における客観性と再現性を向上させることができるか？
• RQ2 正確性やFスコアなどの導出指標と比較して、原単位の要因数の評価者間一貫性はどのように変動するか？
• RQ3 最先端の要約モデル、特に抽象的モデルは、医療的要因の幻覚をどの程度回避しているか？
• RQ4 評価者が要因選択の粒度をどのように選択するかが、評価指標の信頼性に顕著に影響を与えるか？

主な発見

• MTSamples データセットで微調整された BART-Med モデルが、全評価者において最高の Fスコア（0.72）、正確性（0.77）、再現率（0.70）、正答率（1.0）を達成した。
• 全4モデルがほぼ完璧な正答率（1.0）を示し、幻覚が最小限に抑えられていることが示された。Pegasus-CNN で生成要約に1件の数値誤りが見られたが、全体としての正答率は高いままであった。
• 参照要因の原単位数に対する評価者間一貫性は低かった（クリッペンドルフのアルファ = 0.25）が、Fスコアなどの導出指標では高い一貫性（アルファ = 0.89）を示し、粒度の違いに対しても堅牢であることが示された。
• 評価者間で要因抽出の粒度に差が見られたが、1名の評価者（E3）は他の評価者よりも粒度が粗かった。しかし、導出指標による要約の全体的品質評価では全員が一致した。
• 一貫性の評価では、クラスの不均衡の影響で低かった（アルファ = 0.40）が、82.5%のケースで全員が一貫性ありと評価しており、大多数のケースで強い合意が得られた。
• 要因数え手法は、要因レベルの不一致が見られる場合でも、信頼性の高い客観的評価を可能にし、再現可能な医療NLG評価に適している。