[論文レビュー] Optimizing the Factual Correctness of a Summary: A Study of Summarizing Radiology Reports

Yuhao Zhang, Derek Merck+3 more|arXiv (Cornell University)|Nov 6, 2019

Topic Modeling参考文献 35被引用数 7

ひとこと要約

本稿では、事実的一致性報酬とROUGEおよび言語モデル学習の目的関数を組み合わせることで、事実的正確性を最適化する強化学習フレームワークを提案する。レントゲン画像報告文に適用した結果、ベースラインモデルと比較して事実的誤りを30%削減し、人的に作成された要約とほとんど区別がつかない要約を生成した。

ABSTRACT

Neural abstractive summarization models are able to generate summaries which have high overlap with human references. However, existing models are not optimized for factual correctness, a critical metric in real-world applications. In this work, we develop a general framework where we evaluate the factual correctness of a generated summary by fact-checking it automatically against its reference using an information extraction module. We further propose a training strategy which optimizes a neural summarization model with a factual correctness reward via reinforcement learning. We apply the proposed method to the summarization of radiology reports, where factual correctness is a key requirement. On two separate datasets collected from hospitals, we show via both automatic and human evaluation that the proposed approach substantially improves the factual correctness and overall quality of outputs over a competitive neural summarization system, producing radiology summaries that approach the quality of human-authored ones.

研究の動機と目的

• 神経的要約生成における事実的誤りという深刻な問題に取り組むこと、特に正確性が不可欠な高リスク分野（例：放射線診断）における重要性を考慮する。
• 情報抽出を用いた自動的事実チェックを統合することで、一般化可能なフレームワークを構築すること。
• テキストの重複度（例：ROUGE）だけでなく、強化学習を用いて事実的一致性を最適化するように要約モデルを最適化すること。
• 複数の病院から得た実世界の放射線画像報告データセットを用いて、本アプローチの有効性を評価すること。
• 改善された事実的一致性が、臨床的に妥当で人的に作成された要約に近い品質の要約をもたらすことを示すこと。

提案手法

• 外部の情報抽出（IE）モジュールが、参照要約およびモデル生成要約から事実を抽出し、事実的正確性を評価する。
• 多目的強化学習（RL）訓練戦略により、3つの目的関数を同時に最適化する：事実的一致性報酬、ROUGEベースの重複度、言語モデル損失。
• 事実的一致性報酬は、生成要約から抽出された事実とゴールド参照との比較に基づき、ルールベースのIEシステムを用いて計算される。
• ポリシー勾配法（例：PPO）を用いて微調整し、統合的目的関数を最大化することで、事実的一致性を向上させる。
• 本アプローチは、2つの異なる病院の放射線画像報告データセットで微調整された、競争力のあるエンコーダ・デコーダ型要約モデルに適用された。
• 文の流れやスタイルの自然さを評価するため、別個のドメイン内言語モデルを訓練し、生成要約の自然さを測るためのパープレクサティを測定した。

実験結果

リサーチクエスチョン

• RQ1 事実的一致性を報酬として組み込んだ強化学習フレームワークは、要約生成における事実的誤りを顕著に減少させるか？
• RQ2 事実的一致性の最適化は、放射線画像報告要約の臨床的妥当性および人的に作成された要約に近い品質を向上させるか？
• RQ3 ROUGEベースの最適化のみで、明示的な事実的報酬がなくても、事実的一致性はどの程度向上するか？
• RQ4 本手法は、強力なベースラインと比較して、事実的正確性、文の流れ、スタイルの一貫性の観点で優れているか？
• RQ5 放射線診断のような曖昧さが少ない分野において、情報抽出による自動的事実チェックを用いて、より信頼性の高い要約モデルを訓練できるか？

主な発見

• 事実的一致性報酬を組み込んだ強化学習ベースの手法（RL_R+C）は、強力なベースラインモデルと比較して、約30%の事実的誤り削減を達成し、事実的正確性が顕著に向上した。
• 人的評価では、本手法で生成された要約が、ベースライン出力よりも事実的正確性および全体的な品質で好まれており、人的に作成された要約のスコアに近づいた。
• 事実的一致性報酬を用いて訓練されたモデルは、テストセットにおけるパープレクサティが人間の参照（152.3）に非常に近く、ベースライン（168.4）よりも優れていた。これは、より自然でスタイルの一貫性がある要約を生成していることを示している。
• 事実的一致性報酬がなくても、ROUGEを強化学習で最適化した場合、最大尤度学習に比べて事実的一致性が顕著に向上した。これは、ROUGE最適化が間接的に事実的一致性を支援している可能性を示している。
• ベースラインモデルの上位10個のトライグラムのうち、多くが繰り返し使用されていた（例：「no significant interval change」は出力の34%に登場）。一方、本手法ではより多様で人的に自然な要約が生成された。
• ルールベースのIEシステムは、病変の有無/無しの誤り（例：気胸の誤った存在/欠如）といった重要な事実的誤りを効果的に同定でき、効果的な事実チェックと報酬設計を可能にした。