[论文解读] Graph-Evolving Meta-Learning for Low-Resource Medical Dialogue Generation

Shuai Lin, Pan Zhou+5 more|arXiv (Cornell University)|Dec 22, 2020

Topic Modeling被引用 8

一句话总结

该论文提出了一种名为图演化元学习（Graph-Evolving Meta-Learning, GEML）的新框架，用于低资源医疗对话生成。该框架利用从常识性疾病-症状关系初始化的元知识图谱，并通过少量shot对话样本动态演化该图谱。通过将元学习与图推理相结合，GEML能够在极少数据下快速适应新疾病，显著提升了在CMDD和Chunyu数据集上的诊断准确率与响应质量。

ABSTRACT

Human doctors with well-structured medical knowledge can diagnose a disease merely via a few conversations with patients about symptoms. In contrast, existing knowledge-grounded dialogue systems often require a large number of dialogue instances to learn as they fail to capture the correlations between different diseases and neglect the diagnostic experience shared among them. To address this issue, we propose a more natural and practical paradigm, i.e., low-resource medical dialogue generation, which can transfer the diagnostic experience from source diseases to target ones with a handful of data for adaptation. It is capitalized on a commonsense knowledge graph to characterize the prior disease-symptom relations. Besides, we develop a Graph-Evolving Meta-Learning (GEML) framework that learns to evolve the commonsense graph for reasoning disease-symptom correlations in a new disease, which effectively alleviates the needs of a large number of dialogues. More importantly, by dynamically evolving disease-symptom graphs, GEML also well addresses the real-world challenges that the disease-symptom correlations of each disease may vary or evolve along with more diagnostic cases. Extensive experiment results on the CMDD dataset and our newly-collected Chunyu dataset testify the superiority of our approach over state-of-the-art approaches. Besides, our GEML can generate an enriched dialogue-sensitive knowledge graph in an online manner, which could benefit other tasks grounded on knowledge graph.

研究动机与目标

• 为解决低资源医疗对话生成中的挑战，即新疾病缺乏足够的对话样本。
• 通过利用共享的疾病-症状关联，将高资源疾病中的诊断知识迁移至低资源疾病。
• 建模随新临床病例出现而变化的疾病-症状关系，克服静态知识图谱的局限。
• 开发一种对话系统，仅用极少对话轮次即可生成医学上合理且流畅的响应。
• 仅使用少量对话样本，实现模型对新疾病的快速适应。

提出的方法

• 该框架采用分层上下文编码器，对对话历史进行多层次表征。
• 元知识图谱推理（Meta-Knowledge Graph Reasoning, MGR）模块基于输入的对话数据，动态演化一个参数化的元知识图谱。
• 元知识图谱初始来源于常识知识图谱，并通过真实对话样本提取的实体与关系进行增强。
• 模型采用元学习（通过Reptile算法）学习一个元初始化，使模型能以极少样本快速适应新疾病。
• 图引导的响应生成器基于动态演化的元知识图谱，生成症状询问或诊断类响应。
• 图谱演化在推理过程中在线进行，使模型能随着更多病例的观察，持续适应新的疾病-症状模式。

实验结果

研究问题

• RQ1 元学习框架能否有效实现从高资源疾病到低资源疾病的诊断知识迁移？
• RQ2 在推理过程中，如何动态演化知识图谱以反映现实世界中疾病-症状关联的变化？
• RQ3 图谱演化在多大程度上提升了低资源环境下的响应质量与诊断准确率？
• RQ4 所提出的方法能否在保持高实体预测F1分数的同时减少对话轮次？
• RQ5 元知识图谱推理的整合在多大程度上增强了医疗对话系统在少样本场景下的适应能力？

主要发现

• 在CMDD数据集上，GEML-MGR取得了39.37的最高实体F1分数，在Chunyu数据集上达到38.67，显著优于所有基线模型。
• 在Chunyu数据集上，GEML-MGR的BLEU分数达到23.07，实体F1分数为38.67，展现出在低资源设置下的强劲性能。
• 人工评估显示，GEML-MGR在知识合理性与生成质量方面均显著优于Meta-MGR和FT-MGR（p < 0.01）。
• 消融实验表明，若移除图推理或复制机制，性能将出现显著下降，凸显二者的重要性。
• 可视化结果表明，元知识图谱演化后新增了如“borborygmus”和“exhaust”等先前缺失的实体，提升了诊断的相关性。
• 该模型在保持高准确率的同时减少了对话轮次，表明其在症状询问方面更高效，诊断速度更快。