[論文レビュー] Development of an Extractive Clinical Question Answering Dataset with Multi-Answer and Multi-Focus Questions

Sungrim Moon, Huan He+2 more|arXiv (Cornell University)|Jan 7, 2022

Topic Modeling被引用数 5

ひとこと要約

本論文は、2018年n2c2コーパスから抽出された96,939件のQAエントリを有する臨床的抽出型質問応答（EQA）データセットであるRxWhyQAを紹介する。本データセットは、複数回答および複数焦点の質問に焦点を当てており、薬剤と根拠の関係（1対N、M対1、M対N）を活用して、複雑で現実的である臨床的質問をモデル化する。また、複数回答および複数薬剤の質問が依然として困難であることが示され、ベースラインのF1スコアは全体で0.72、複数回答質問では0.43であった。

ABSTRACT

Background: Extractive question-answering (EQA) is a useful natural language processing (NLP) application for answering patient-specific questions by locating answers in their clinical notes. Realistic clinical EQA can have multiple answers to a single question and multiple focus points in one question, which are lacking in the existing datasets for development of artificial intelligence solutions. Objective: Create a dataset for developing and evaluating clinical EQA systems that can handle natural multi-answer and multi-focus questions. Methods: We leveraged the annotated relations from the 2018 National NLP Clinical Challenges (n2c2) corpus to generate an EQA dataset. Specifically, the 1-to-N, M-to-1, and M-to-N drug-reason relations were included to form the multi-answer and multi-focus QA entries, which represent more complex and natural challenges in addition to the basic one-drug-one-reason cases. A baseline solution was developed and tested on the dataset. Results: The derived RxWhyQA dataset contains 96,939 QA entries. Among the answerable questions, 25% require multiple answers, and 2% ask about multiple drugs within one question. There are frequent cues observed around the answers in the text, and 90% of the drug and reason terms occur within the same or an adjacent sentence. The baseline EQA solution achieved a best f1-measure of 0.72 on the entire dataset, and on specific subsets, it was: 0.93 on the unanswerable questions, 0.48 on single-drug questions versus 0.60 on multi-drug questions, 0.54 on the single-answer questions versus 0.43 on multi-answer questions. Discussion: The RxWhyQA dataset can be used to train and evaluate systems that need to handle multi-answer and multi-focus questions. Specifically, multi-answer EQA appears to be challenging and therefore warrants more investment in research.

研究の動機と目的

• 複数回答および複数焦点の質問を含む、現実的でない臨床QAデータセットの不足に対処すること。
• 特に複数の薬剤や根拠を含む、現実世界の臨床的質問の複雑さを反映するデータセットの開発。
• 複雑で多面的な臨床的質問を処理できるAIシステムのトレーニングおよび評価を支援すること。
• 患者ノートにおける自然言語のパターンをモデル化することで、臨床現場における抽出型QAシステムの頑健性を向上させること。
• 複数薬剤および複数回答の質問のような挑戦的な質問タイプの性能評価のベンチマークを提供すること。

提案手法

• 2018年n2c2臨床NLPコンテストコーパスからのアノテート済み薬剤-根拠関係を用いてデータセットを構築した。
• 1対N、M対1、M対Nの薬剤-根拠関係を活用し、複数の答えや複数の焦点を持つQAペアを生成した。
• 自然な臨床的質問のパターンを反映するように質問を構成した。特に、1つの薬剤について複数の根拠を尋ねる、または複数の薬剤について尋ねる質問を含めた。
• 臨床ノートから答えを含むテキストスパンを抽出した。薬剤および根拠用語の90％が、答えと同じ文または隣接する文内に存在し、高い局所的精度を示した。
• 標準的な指標（F1スコアなど）を用いて、データセット上でベースライン抽出型QAモデルをトレーニングおよび評価した。
• QAペアの回答可能性および言語的整合性を検証し、関連性および正確性を保証した。

実験結果

リサーチクエスチョン

• RQ1 臨床的QAデータセットは、現実世界の臨床実践で一般的な複数回答および複数焦点の質問を反映するために、どのように改善できるか？
• RQ2 現実世界の臨床現場における臨床的質問のうち、何パーセントが複数の答えや複数の薬剤の焦点を必要としているか？
• RQ3 既存の抽出型QAモデルは、単純な質問と比較して、複雑で多面的な臨床的質問に対してどのように性能を示すか？
• RQ4 複数回答および複数焦点の臨床的質問において、答えの周囲にどのような言語的手がかりが存在するか？
• RQ5 1つのQAシステムが、単一回答と複数回答の質問を同等の性能で効果的に処理できるか？

主な発見

• RxWhyQAデータセットには96,939件のQAエントリが含まれており、回答可能な質問の25％が複数の答えを必要とし、2％が1つの質問で複数の薬剤を尋ねている。
• 薬剤および根拠用語の90％が、答えと同じ文または隣接する文内に存在しており、強力な局所的文脈の手がかりがあることが示された。
• ベースラインEQAモデルは、全データセットでF1スコア0.72を達成し、複雑な質問に対して中程度の性能を示した。
• 複数回答質問では性能が著しく低下し（F1 = 0.43）、単一回答質問（F1 = 0.54）と比較して、複数回答抽出の困難さが浮き彫りになった。
• 不正答可能な質問ではF1スコア0.93を記録し、非回答可能な質問を検出する能力が優れていることが示された。
• 複数薬剤の質問は単一薬剤の質問よりも難易度が高く、F1スコアは0.60（複数薬剤）と0.48（単一薬剤）を示し、複数焦点の質問のモデリングの改善が求められることを示した。