[论文解读] Knowledge Graph-based Question Answering with Electronic Health Records

Junwoo Park, Youngwoo Cho+3 more|arXiv (Cornell University)|Oct 19, 2020

Topic Modeling参考文献 29被引用 15

一句话总结

本文提出了一种基于知识图谱的电子健康记录（EHR）问答（QA）方法，将自然语言查询转换为SPARQL而非SQL。基于MIMICSQL数据集的修改版本，作者证明了在不更改模型的情况下，基于图谱的QA方法准确率最高可提升34%，验证了知识图谱比关系表更能有效捕捉临床关系的假设。

ABSTRACT

Question Answering (QA) is a widely-used framework for developing and evaluating an intelligent machine. In this light, QA on Electronic Health Records (EHR), namely EHR QA, can work as a crucial milestone towards developing an intelligent agent in healthcare. EHR data are typically stored in a relational database, which can also be converted to a directed acyclic graph, allowing two approaches for EHR QA: Table-based QA and Knowledge Graph-based QA. We hypothesize that the graph-based approach is more suitable for EHR QA as graphs can represent relations between entities and values more naturally compared to tables, which essentially require JOIN operations. In this paper, we propose a graph-based EHR QA where natural language queries are converted to SPARQL instead of SQL. To validate our hypothesis, we create four EHR QA datasets (graph-based VS table-based, and simplified database schema VS original database schema), based on a table-based dataset MIMICSQL. We test both a simple Seq2Seq model and a state-of-the-art EHR QA model on all datasets where the graph-based datasets facilitated up to 34% higher accuracy than the table-based dataset without any modification to the model architectures. Finally, all datasets are open-sourced to encourage further EHR QA research in both directions.

研究动机与目标

• 探究基于知识图谱的EHR QA是否优于使用关系型数据库的传统表格化QA方法。
• 通过利用图结构实现更自然的关系建模，解决EHR数据中复杂模式和JOIN操作的挑战。
• 创建并发布一个新的基准数据集对（MIMICSQL* 和 MIMIC-SPARQL*），用于支持EHR QA研究中表格化与图谱化两种方向。
• 在准确率、查询长度以及对模式复杂性的鲁棒性方面，对NLQ-to-SQL与NLQ-to-SPARQL模型进行实证比较。
• 分析SPARQL与SQL查询在结构上与自然语言问题的差异，及其对模型性能的影响。

提出的方法

• 作者将原始的MIMICSQL数据集转换为知识图谱表示形式，保留了来自MIMIC-III关系模式的实体与关系语义。
• 从自然语言问题生成SPARQL查询，将该任务视为NLQ-to-SPARQL，而非NLQ-to-SQL。
• 构建的知识图谱中，实体（如患者、药物）作为节点，临床关系（如“处方给”、“诊断为”）作为带类型的边。
• 在表格化（SQL）与图谱化（SPARQL）设置中，保持模型架构一致，以确保公平比较。
• 在MIMICSQL*（表格化）与MIMIC-SPARQL*（图谱化）数据集上，评估了当前最先进的EHR QA模型（TREQS）的性能。
• 作者分析了查询长度趋势与结构复杂性，在模式复杂性增加和问题深度提升的条件下，对比SQL与SPARQL的表现。

实验结果

研究问题

• RQ1 基于知识图谱的EHR QA在准确率和对模式复杂性的鲁棒性方面是否优于表格化QA？
• RQ2 SPARQL与SQL查询在长度和句法相似性方面，与自然语言问题相比有何结构特征差异？
• RQ3 与SPARQL的基于边的遍历机制相比，SQL中JOIN操作数量的增加在多大程度上影响模型性能？
• RQ4 当在SPARQL查询上微调时，单一模型架构是否能在性能上优于在SQL查询上微调的版本？
• RQ5 OOV（词汇表外）词汇对NLQ-to-SQL与NLQ-to-SPARQL模型在查询生成中的影响如何？

主要发现

• 在不修改模型架构的前提下，基于图谱的方法准确率最高可比基于表格的方法提升34%。
• 当在图谱化数据集MIMIC-SPARQL*上进行训练时，TREQS模型在正确预测实体关系方面提升了5.1%，在答案预测方面提升了3.6%。
• 随着问题复杂度的提升，SPARQL查询长度的增加远小于SQL查询，表明SPARQL在结构上更接近自然语言。
• 随着JOIN操作数量的增加，正确SQL查询的数量下降，而SPARQL性能保持稳定，表明SPARQL在复杂模式下具有更好的可扩展性。
• SPARQL查询在结构上比SQL查询更接近自然语言问题，尤其在复杂、多实体查询中表现更优。
• OOV问题对Seq2seq模型在SQL生成中的影响更为严重，而SPARQL模型即使在条件值错误复制的情况下，仍能保持正确的逻辑结构。