[論文レビュー] CHQ-Summ: A Dataset for Consumer Healthcare Question Summarization

Shweta Yadav, Deepak Gupta+1 more|arXiv (Cornell University)|Jun 14, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、1,507件の消費者医療質問（CHQ）に、専門家がアノテートした要約、質問の焦点、質問タイプを含む新しいデータセットCHQ-Summを紹介する。このデータセットはYahoo Answersから抽出され、医療関連の質問に対する抽象的要約モデルの学習と評価を可能にする。BARTとProphetNetがROUGEおよびBERTScore指標で最高の性能を示したが、自動評価指標は事実の正確性を完全に反映していない可能性がある。

ABSTRACT

The quest for seeking health information has swamped the web with consumers' health-related questions. Generally, consumers use overly descriptive and peripheral information to express their medical condition or other healthcare needs, contributing to the challenges of natural language understanding. One way to address this challenge is to summarize the questions and distill the key information of the original question. To address this issue, we introduce a new dataset, CHQ-Summ that contains 1507 domain-expert annotated consumer health questions and corresponding summaries. The dataset is derived from the community question-answering forum and therefore provides a valuable resource for understanding consumer health-related posts on social media. We benchmark the dataset on multiple state-of-the-art summarization models to show the effectiveness of the dataset.

研究の動機と目的

• 消費者医療質問（CHQ）要約のための、大規模かつドメイン専門家がアノテートしたデータセットが不足しているという問題に対処すること。
• しばしば冗長で付随的な情報を含む医療関連の質問の自動要約システムの性能を向上させること。
• 実世界のコミュニティフォーラム（Yahoo Answers）から得た多様で高品質なデータセットを提供し、患者が生成する健康関連の質問における抽象的要約研究を支援すること。
• モデルの解釈可能性とタスクの特異性を高めるために、質問の焦点および質問タイプの追加アノテーションを含めること。
• 新規データセット上で最先端の事前学習言語モデルをベンチマークし、ROUGEおよびBERTScore指標を用いてその要約効果を評価すること。

提案手法

• データセットはYahoo! Answers L6コーパスから構築され、ヒューリスティックベースの戦略を用いて「医療」カテゴリに属する質問を抽出した。
• 質問のタイトルおよび内容における医療用語を、Stanzaの生物医学および臨床NLPモデルを用いて同定した。
• 内容が10語未塔の無関係または低コンテンツの質問は除外され、品質および要約の関連性を確保した。
• ドメイン専門家が選択された各質問を手動で要約し、顕著な医療情報を捉えた基準要約を生成した。
• 質問の焦点（主な医療用語）および質問タイプ（例：治療、診断、症状）のアノテーションが含まれている。
• 事前学習モデル（T5、BART、PEGASUS、ProphetNet）を、最大入力長300トークン、出力長50トークンで、訓練用分割データに対して微調整し、ビームサーチデコードを用いた。

実験結果

リサーチクエスチョン

• RQ1 最先端の事前学習言語モデルは、実世界のコミュニティフォーラムからの消費者医療質問の要約に対してどの程度効果的か？
• RQ2 ROUGEおよびBERTScore指標は、CHQ要約の品質を評価する際、人間の判断とどの程度相関しているか？
• RQ3 質問の焦点や質問タイプといった追加のアノテーションは、要約モデルの性能または解釈可能性を向上させることができるか？
• RQ4 事実の正確性を考慮した場合、抽象的要約モデルの性能は、さまざまな評価指標でどのように変化するか？
• RQ5 ROUGEのような自動評価指標は、医療質問の要約生成における事実の一貫性を十分に捉えていないという限界は何か？

主な発見

• バリデーションセットではProphetNetが最高のROUGEスコアを達成したが、テストセットではBARTがROUGE-1、ROUGE-2、ROUGE-Lのすべての指標で他のモデルを上回った。
• BERTScoreの結果から、BARTはテストセットで基準要約と最も高い意味的類似度を示し、意味的整合性に優れていることが示された。
• ROUGE-1およびROUGE-LスコアはROUGE-2よりも常に高く、ユニグラムおよび最長共通部分列一致のほうがバイグラム一致よりも許容度が高いことを示している。
• 高いROUGEスコアにもかかわらず、BARTおよびPEGASUSは一部の要約で事実誤認を生じさせた。これは、ROUGEが単独の評価指標として使用する際の限界を示している。
• T5は他のモデルと比較して著しく長い要約を生成したが、ProphetNetおよびBARTは基準要約と内容および構造が最も近かった。
• 手動での検査から、高い自動スコアが事実の正確性を保証するわけではないことが明らかになった。これは、医療要約タスクにおいて人間による評価の必要性を強調している。