[论文解读] Enhancing Emergency Decision-making with Knowledge Graphs and Large Language Models

Minze Chen, Zhenxiang Tao+4 more|arXiv (Cornell University)|Nov 15, 2023

Topic Modeling被引用 4

一句话总结

本文提出E-KELL，一种将结构化应急知识图谱与大语言模型（LLMs）相结合的混合系统，以提升危机场景下的决策能力。通过在领域特定知识上引导LLM进行提示链推理，E-KELL减少了幻觉现象并提升了推理能力，在真实世界评估中，应急响应人员对其在可理解性、准确性、简洁性和指导性方面的评分均达到9.03–9.09的高水平。

ABSTRACT

Emergency management urgently requires comprehensive knowledge while having a high possibility to go beyond individuals' cognitive scope. Therefore, artificial intelligence(AI) supported decision-making under that circumstance is of vital importance. Recent emerging large language models (LLM) provide a new direction for enhancing targeted machine intelligence. However, the utilization of LLM directly would inevitably introduce unreliable output for its inherent issue of hallucination and poor reasoning skills. In this work, we develop a system called Enhancing Emergency decision-making with Knowledge Graph and LLM (E-KELL), which provides evidence-based decision-making in various emergency stages. The study constructs a structured emergency knowledge graph and guides LLMs to reason over it via a prompt chain. In real-world evaluations, E-KELL receives scores of 9.06, 9.09, 9.03, and 9.09 in comprehensibility, accuracy, conciseness, and instructiveness from a group of emergency commanders and firefighters, demonstrating a significant improvement across various situations compared to baseline models. This work introduces a novel approach to providing reliable emergency decision support.

研究动机与目标

• 解决应急管理中对可靠、基于证据的决策支持的迫切需求，因为人类认知常因复杂性而超载。
• 通过将输出基于结构化、领域特定的知识，克服独立大语言模型（尤其是幻觉和推理能力弱）的局限性。
• 开发一种系统，将应急法规与标准整合为正式的知识图谱，以支持准确、可追溯且可解释的决策。
• 通过在结构化知识上显式构建推理链，提升AI驱动应急建议的可解释性与可信度。
• 通过领域专家（包括应急指挥官和消防员）的反馈，在多样化应急场景中评估系统性能。

提出的方法

• 利用中文应急标准、法规和事件响应流程构建结构化应急知识图谱，形式化表达危害、行动与响应阶段之间的关系。
• 设计多步提示链，引导LLM在知识图谱上进行推理，确保每条响应均基于事实且预先验证的知识。
• 在推理时将LLM与知识图谱集成，采用检索增强生成技术，将输出限制在已知应急规程范围内。
• 实现模块化系统架构，支持多轮、上下文感知的对话，适用于动态应急场景（如化学品泄漏或火灾）。
• 应用检索与推理机制，使LLM生成的响应与官方应急响应框架及实时情境数据保持一致。
• 采用人机协同评估方式，由应急专业人员验证响应在准确性、清晰度、简洁性和指导性等关键维度的质量。

实验结果

研究问题

• RQ1 如何有效约束大语言模型，以减少在高风险应急决策中的幻觉？
• RQ2 知识图谱在多大程度上能提升LLM生成的应急建议的推理质量与事实一致性？
• RQ3 LLM与结构化知识的混合系统是否在准确性与可靠性方面优于独立的LLM？
• RQ4 当LLM响应基于领域特定知识时，应急响应人员如何看待其可理解性与实用性？
• RQ5 通过提示链实现的结构化推理，对应急决策支持输出的连贯性与可操作性有何影响？

主要发现

• E-KELL通过将LLM输出基于从官方中文标准中提炼的精心整理的应急知识图谱，显著减少了幻觉并提升了事实一致性。
• 在真实世界评估中，E-KELL在应急指挥官与消防员中的平均得分为：可理解性9.06分，准确性9.09分，简洁性9.03分，指导性9.09分。
• 该系统在生成结构化、可操作且上下文恰当的应急响应指导方面，优于基线LLM（如ChatGLM-6b、GPT-3.5）。
• 提示链机制有效引导LLM在知识图谱上逐步推理，生成更具连贯性与逻辑一致性的响应。
• 应急专业人员认为E-KELL的输出高度实用，适用于实时决策支持，尤其在复杂场景（如危险化学品泄漏）中表现突出。
• 将结构化知识与LLM结合，可实现可追溯、可解释且具有法律依据的决策支持，有效应对高风险应急环境中的关键关切。