[論文レビュー] Annotating Electronic Medical Records for Question Answering

Preethi Raghavan, Siddharth Patwardhan+2 more|arXiv (Cornell University)|May 17, 2018

Topic Modeling参考文献 18被引用数 13

ひとこと要約

本論文は、電子的医療記録（EHR）から、再現可能で医学生が主導する高品質で患者特化型の質疑応答データセット作成手法を提示する。この手法は、0.71のCohenのカッパ係数による高い評価者間一致度を達成し、71件の患者記録から合計5,696件の質問を生成した。そのうち1,747件の質問は専門家が検証した回答とペairedされ、医療分野における機械学習ベースの質疑応答システムの訓練と評価を可能にする。

ABSTRACT

Our research is in the relatively unexplored area of question answering technologies for patient-specific questions over their electronic health records. A large dataset of human expert curated question and answer pairs is an important pre-requisite for developing, training and evaluating any question answering system that is powered by machine learning. In this paper, we describe a process for creating such a dataset of questions and answers. Our methodology is replicable, can be conducted by medical students as annotators, and results in high inter-annotator agreement (0.71 Cohen's kappa). Over the course of 11 months, 11 medical students followed our annotation methodology, resulting in a question answering dataset of 5696 questions over 71 patient records, of which 1747 questions have corresponding answers generated by the medical students.

研究の動機と目的

• 患者特化型の質疑応答のための、スケーラブルで再現可能な電子的医療記録（EHR）からの質問-回答ペア生成手法の開発。
• 機械学習モデルの訓練および評価に用いる大規模で専門家がキュレートしたデータセットの不足に対処すること。
• 構造化されたアノテーションガイドラインと医学生のアノテーターを用いることで、高い評価者間一致度を確保すること。
• 自然言語処理の研究を支援する、臨床意思決定支援および患者参加型応用分野における研究を促進するデータセットの作成。

提案手法

• 医学生が臨床ノートから質問を抽出し、患者固有のEHRコンテンツに基づいて回答を生成するための標準化されたアノテーションプロトコルを設計した。
• アノテーターはEHRのサブセットで訓練を受け、質問の構築と回答生成における一貫性を確保するための詳細なガイドラインに従った。
• 不一致を解消し、アノテーション品質を向上させるために、反復的レビューと合意形成のプロセスを含んだ。
• 評価者間一致度はCohenのカッパ係数で測定され、最終的なスコアは0.71であり、実質的な一致度を示している。
• 11か月にわたり11名の医学生が関与し、71件の患者記録をカバーするデータセットを構築した。
• 最終的なデータセットには、5,696件の質問と1,747件の回答ペアが含まれており、すべてが訓練された医学生によってキュレートされた。

実験結果

リサーチクエスチョン

• RQ1 医学生のアノテーターを用いて、電子的医療記録（EHR）から質問-回答ペアを生成するためのスケーラブルで再現可能なアノテーションプロセスを開発できるか？
• RQ2 構造化されたガイドラインを用いた臨床的質疑応答データセット作成タスクにおいて、どの程度の評価者間一致度が達成できるか？
• RQ3 この手法を用いることで、1件の患者記録あたり、何件の臨床的に関連性のある質問と回答を生成できるか？
• RQ4 医学生をアノテーターとして用いることで、生成されたQAペアの臨床的正確性と関連性がどの程度保証されるか？
• RQ5 このデータセットは、患者特化型の質疑応答のための機械学習モデルの開発と評価を支援できるか？

主な発見

• アノテーションプロセスは、0.71のCohenのカッパ係数という高い評価者間一致度を達成し、アノテーター間の実質的な一貫性を示した。
• 11か月にわたり、11名の医学生が71件の患者記録から合計5,696件の質問を生成した。
• そのうち1,747件の質問は専門家が検証した回答とペアリングされ、高品質な訓練および評価リソースを形成した。
• この手法は再現可能であり、最小限の臨床的監視で訓練された医学生が実装できる。
• 得られたデータセットは、臨床的質疑応答における機械学習モデルの訓練および評価のための貴重なベンチマークを提供する。
• このデータセットは、特に臨床意思決定支援や患者参加型アプリケーションといった、患者中心の応用分野における医療分野における自然言語処理研究を支援する。