[論文レビュー] emrQA: A Large Corpus for Question Answering on Electronic Medical Records

Anusri Pampari, Preethi Raghavan+2 more|arXiv (Cornell University)|Sep 3, 2018

Topic Modeling被引用数 10

ひとこと要約

本稿では、既存のi2b2臨床NLPアノテーションを再利用することで生成された、大規模かつ患者固有の電子的医療記録（EMR）向け質疑応答（QA）データセットemrQAを紹介する。このフレームワークは、専門家がラベル付けしたエンティティおよび関係を活用し、40万件の質問-回答ペアと100万件の質問-論理的形態ペアを自動生成する。これにより、時間的・算術的推論といった複雑な推論タスクに対応できる、解釈可能で臨床的根拠に基づいたQAモデルの学習が可能になる。

ABSTRACT

We propose a novel methodology to generate domain-specific large-scale question answering (QA) datasets by re-purposing existing annotations for other NLP tasks. We demonstrate an instance of this methodology in generating a large-scale QA dataset for electronic medical records by leveraging existing expert annotations on clinical notes for various NLP tasks from the community shared i2b2 datasets. The resulting corpus (emrQA) has 1 million question-logical form and 400,000+ question-answer evidence pairs. We characterize the dataset and explore its learning potential by training baseline models for question to logical form and question to answer mapping.

研究の動機と目的

• 臨床NLP研究のための、大規模かつ公開可能なEMR QAデータセットの不足に対処すること。
• 既存のNLPアノテーションを活用して、ドメイン特化型QAデータセットをスケーラブルかつ専門的作業負荷を低くして生成するフレームワークを開発すること。
• 縦断的記録、時間的推論、医学用語を含む臨床ナラティブの複雑さを捉えたデータセットを作成すること。
• 質問と回答を結びつける記号的論理的形態を用いて、解釈可能なQAモデルの開発を支援すること。
• SQuADのようなオープンドメインデータセットに見られない、算術的および時間的推論といった挑戦的な推論タスクのベンチマークを可能にすること。

提案手法

• 臨床ノートから得た既存のi2b2アノテーション（名前付きエンティティや関係など）を再利用し、質問-回答ペアおよび論理的形態を生成する。
• 逆設計的手法を採用：アノテートされたエンティティ-関係ペアに基づいて質問テンプレートおよび論理的形態テンプレートを定義する。
• 各アノテートされたエンティティ-関係ペアを、自然言語の質問および意味的構造を表す記号的論理的形態にマッピングする。
• 元の臨床テキストから回答スパンを抽出し、質問および論理的形態と整合させる。
• i2b2データセットの1,000件以上の患者記録にこのフレームワークを適用し、100万件の質問-論理的形態ペアと40万件の質問-回答ペアを生成した。
• テンプレートの組み合わせや語彙的変異、共参照の導入により、推論の複雑さを高めるためにデータセットを拡張した。

実験結果

リサーチクエスチョン

• RQ1 既存の臨床NLPアノテーションを体系的に再利用することで、専門的作業負荷を最小限に抑えつつ、大規模で高品質なEMR QAデータセットを生成できるか？
• RQ2 emrQAにおける質問の複雑さは、SQuADのようなオープンドメインQAデータセットと比べて、推論能力および言語的変異の観点でどの程度異なるか？
• RQ3 論理的形態が臨床QAにおけるモデルの解釈可能性および性能にどの程度寄与するか？
• RQ4 実際のEMR QAタスクにおいて、時間的または算術的推論のような種類の推論はどのように現れ、それらをデータセットにどのように組み込むことができるか？
• RQ5 本稿で提案するフレームワークは、アノテーションリソースが限られているが既にNLPアノテーションが存在する他の分野へも一般化可能か？

主な発見

• emrQAデータセットには40万件の質問-回答ペアと100万件の質問-論理的形態ペアが含まれており、これは公開済みの患者固有のEMR QAコーパスとして最大規模である。
• 質問から論理的形態へのマッピングおよび質問から回答へのマッピングのベースラインモデルは、複数関係を含む質問では低い性能を示しており、データセットが複雑な推論要件を捉えていることが示された。
• 誤差解析の結果、予測失敗の38％が複数文にわたる推論に関連し、そのうち16％は複数の証拠を必要とする質問で証拠が欠落していたことが判明した。
• 文法的変異（14％）と医学的推論（10％）が大きな課題であり、DrQAが予測する証拠スパンが不完全なことが原因で14％の誤りが生じた。
• SQuADのようなオープンドメインベンチマークに欠けている、算術的および時間的推論といった新しい推論課題をデータセットに導入しており、臨床的関連性を高めている。
• このフレームワークは拡張可能であり、DBPediaなどの既存の知識ベースを活用して、クラウドソーシングを伴わずにWikipediaベースのQAなど、他の分野にも応用可能である。