[論文レビュー] Attend to Medical Ontologies: Content Selection for Clinical Abstractive Summarization

Sajad Sotudeh, Nazli Goharian+1 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 28被引用数 8

ひとこと要約

本稿では、レントゲン画像報告書の所見から顕著な医学用語語彙を特定し、要約プロセスに統合することで、臨床的要約生成の質を向上させる、新しいseq2seqモデルを提案する。BERTの埋め込みを用いた双方向LSTMシーケンスタガーモデルにより、所見の用語がインプレッションにコピーされる可能性を予測することで、内容選択が改善され、MIMIC-CXRおよびOpenIデータセットにおいて、最先端のベースラインと比較してROUGE-1で2.9%、ROUGE-2で2.5%、ROUGE-Lで1.9%の統計的に有意な向上を達成した。

ABSTRACT

Sequence-to-sequence (seq2seq) network is a well-established model for text summarization task. It can learn to produce readable content; however, it falls short in effectively identifying key regions of the source. In this paper, we approach the content selection problem for clinical abstractive summarization by augmenting salient ontological terms into the summarizer. Our experiments on two publicly available clinical data sets (107,372 reports of MIMIC-CXR, and 3,366 reports of OpenI) show that our model statistically significantly boosts state-of-the-art results in terms of Rouge metrics (with improvements: 2.9% RG-1, 2.5% RG-2, 1.9% RG-L), in the healthcare domain where any range of improvement impacts patients' welfare.

研究の動機と目的

• 標準的なseq2seqモデルがレントゲン画像報告書からの顕著な情報を特定できないという、臨床的要約生成における内容選択の課題に対処すること。
• 診断意思決定に不可欠なインプレッション生成の質を、所見セクションからの最も関連性の高い語彙語彙のみを統合することで向上させること。
• 顕著な語彙語彙を用いて単語表現を精錬することで、すべての語彙語彙を用いる場合と比較して要約品質が向上するかどうかを評価すること。
• 異なる臨床データセット（MIMIC-CXRおよびOpenI）間でのモデルのクロス組織的移行性を評価すること。
• 自動評価指標（ROUGE）と熟練者による人間評価（読みやすさ、正確性、完全性）の両面から、モデルの性能を検証すること。

提案手法

• 内容選択を、所見に含まれる各用語が顕著な語彙語彙であり、インプレッションに直接コピーされるかどうかを1にラベル付ける単語レベルのシーケンスタギングタスクとして定式化する。
• BERTの埋め込みを入力として、双方向LSTMネットワークを用いて各単語のコピー可能性を予測し、これを顕著性の代理指標とする。
• 正しくラベル付けされた予測の対数尤度を最大化するように、クロスエントロピー損失を用いてコンテンツセレクタを学習する。
• 顕著な語彙語彙を要約器に統合するために、これらの用語用の別個のエンコーダーを用いて所見の単語表現を精錬する。
• ポインタジェネレータ注意力を備えた標準的なseq2seqモデルを用い、デコーダーが精錬済みの所見および顕著な語彙語彙に注目する。
• 訓練済みモデルをMIMIC-CXRおよびOpenIデータセットに適用し、ROUGEと熟練者による人間アノテーションを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 レントゲン画像報告書の所見から顕著な語彙語彙を特定し、それらを統合することで、要約生成のパフォーマンスが向上するか？
• RQ2 顕著な語彙語彙用に専用エンコーダーを用いて単語表現を精錬することで、すべての語彙語彙を用いる場合と比較して要約品質が向上するか？
• RQ3 提案手法は、臨床的要約ベンチマークにおけるROUGEスコアにおいて、最先端のベースラインと比較してどのように差をつけるか？
• RQ4 モデルは、異なる臨床機関およびデータセット間でどの程度移行可能か？
• RQ5 熟練者による要約とシステム生成要約は、読みやすさ、正確性、完全性の観点から、どのように比較されるか？

主な発見

• 提案手法は、MIMIC-CXRデータセットにおいて、強力なベースラインと比較してROUGE-1で2.9%、ROUGE-2で2.5%、ROUGE-Lで1.9%の絶対的向上を達成した。
• コンテンツセレクタは要約生成のパフォーマンスを顕著に向上させ、ROUGE-1およびROUGE-2において、対応t検定のp値が0.05未満であった。
• OpenIデータセットでは、最も優れた抽象的要約ベースラインを顕著に上回り、強いクロス組織的移行性を示した。
• 熟練者による評価では、システム生成インプレッションの81%が、読みやすさ、正確性、完全性の全3項目において、人間が作成した要約と同等以上に評価された。
• 73%のシステム生成インプレッションが読みやすさで最高評価（3点）、71%が正確性で、62%が完全性で最高評価を獲得し、人間水準のパフォーマンスを示した。中程度の評価者間一貫性（Fleiss’ Kappa: 47–52%）を示した。
• モデルのパフォーマンスは、データセット間で一貫しており、ROUGE指標および熟練者評価の両方で改善が見られた。これは、臨床現場での実用的有用性を示唆している。