[論文レビュー] Towards Clinical Encounter Summarization: Learning to Compose Discharge Summaries from Prior Notes

Han-Chin Shing, Chaitanya Shivade+5 more|arXiv (Cornell University)|Apr 27, 2021

Topic Modeling参考文献 32被引用数 13

ひとこと要約

本論文は、抽出・要約パイプラインを用いて、事前の非構造的EHRノートから臨床的退院要約を生成する、新しいタスクを提案する。医療用NERを用いた忠実性に配慮した評価フレームワークを提示し、追跡可能で抽出的・要約的（extractive-abstractive）なアーキテクチャが、7つの医学的セクションにおいて優れた忠実性と頑健なパフォーマンスを発揮することを示している。BARTベースのモデルは、忠実性補正F3スコアにおいて他のモデルを上回った。

ABSTRACT

The records of a clinical encounter can be extensive and complex, thus placing a premium on tools that can extract and summarize relevant information. This paper introduces the task of generating discharge summaries for a clinical encounter. Summaries in this setting need to be faithful, traceable, and scale to multiple long documents, motivating the use of extract-then-abstract summarization cascades. We introduce two new measures, faithfulness and hallucination rate for evaluation in this task, which complement existing measures for fluency and informativeness. Results across seven medical sections and five models show that a summarization architecture that supports traceability yields promising results, and that a sentence-rewriting approach performs consistently on the measure used for faithfulness (faithfulness-adjusted $F_3$) over a diverse range of generated sections.

研究の動機と目的

• 複数文書の臨床的エンカウンターから、広範かつ非構造的なEHRノートを要約する臨床的課題に対処すること。
• 事前の臨床的ノートから退院要約を組み立てるという、新しいタスクを提案すること。その際、追跡可能で根拠に基づいたアプローチを採用すること。
• 長大な臨床テキストにスケーラブルな要約モデルの忠実性、追跡可能性、スケーラビリティを評価すること。
• 生成された要約における幻覚（hallucinations）を検出するための、Novel NERベースの忠実性メトリクスを導入・検証すること。
• MIMIC-IIIから派生したベンチマークデータセットを構築し、臨床的複数文書要約分野の研究基盤を提供すること。

提案手法

• 抽出的・要約的要約パイプラインを提案：事前に入手した臨床的ノートから関連する文を抽出し、その後で要約的処理により一貫性のある退院要約セクションを生成する。
• 長大な臨床文書のシーケンスから重要な文を特定するため、リcall指向の抽出器（例：RNN+RL やロジスティック回帰）を用いる。
• 抽出された内容から自然で簡潔な要約を生成するため、事前学習済みのシーケンス・ツー・シーケンスモデル（BART）を抽象化器（abstractor）として採用する。
• 生成された要約に含まれるエンティティと元のノートのエンティティを比較することで、医療用名前付きエンティティ認識（NER）に基づく忠実性評価メトリクスを導入する。
• ROUGEスコアとNERベースの忠実性を組み合わせ、文の流れの自然さと事実の整合性の両方を評価する。
• MIMIC-IIIデータセットを用い、5種類の異なるモデル（RNN+RL、BART、Presummなど）を7つの退院要約セクションで訓練・評価する。

実験結果

リサーチクエスチョン

• RQ1 既存の要約的要約モデルは、事前の臨床的ノートから退院要約を生成する際、どの程度の忠実性を示すか？
• RQ2 抽出的・要約的パイプラインは、複数文書の臨床的要約分野における追跡可能性を向上させ、幻覚を低減できるか？
• RQ3 標準的なROUGEメトリクスと比較して、NERベースの忠実性メトリクスは、生成された要約における事実の不整合をどの程度正確に検出できるか？
• RQ4 BARTとRNN+RLなどの異なるモデルアーキテクチャは、正確で追跡可能な退院要約セクションを生成する上で、どのように比較されるか？
• RQ5 証拠のフォールバックと長文処理に対応するパイプラインは、実世界の臨床エンカウンター・データに効果的にスケーリングできるか？

主な発見

• 抽出的・要約的パイプラインは、エンドツーエンドの要約的モデルと比較して、忠実性が著しく向上しており、BARTベースのシステムが最高の忠実性補正F3スコアを達成した。
• NERベースの忠実性メトリクスは、幻覚を効果的に同定できており、例えば元のノートに「家族歴なし」とは記載されていなかったにもかかわらず、要約で「家族歴なし」と誤って記載された事例を検出できた。
• BARTモデルは、忠実性補正F3メトリクスにおいて、RNN+RLや他の要約的ベースラインを上回り、より優れた事実整合性を示した。
• 強力なパフォーマンスを示したが、すべてのモデルが「長時間作用性ニトログリセリン投与中の安定狭心症」のような重要な臨床的詳細を漏らしていたため、微細な臨床情報の把握には依然として課題が残っている。
• パイプラインは、元の文の参照を保持することで追跡可能性を実現し、医師による検証を可能にし、検証不能なモデル出力への依存を低減した。
• MIMIC-IIIから派生したデータセットは、今後の臨床的複数文書要約分野の研究における有効なベンチマークを提供するが、単一の米国病院のICUデータに偏っているため、結果の一般化には注意が必要である。