[论文解读] DisasterResponseGPT: Large Language Models for Accelerated Plan of Action Development in Disaster Response Scenarios

Vinicius G. Goecks, Nicholas R. Waytowich|arXiv (Cornell University)|Jun 29, 2023

Disaster Management and Resilience被引用 14

一句话总结

DisasterResponseGPT 使用上下文学习与 LLMs，快速生成并迭代改进灾害响应行动计划，提供多种可执行选项，其质量可与人类计划相媲美。

ABSTRACT

The development of plans of action in disaster response scenarios is a time-consuming process. Large Language Models (LLMs) offer a powerful solution to expedite this process through in-context learning. This study presents DisasterResponseGPT, an algorithm that leverages LLMs to generate valid plans of action quickly by incorporating disaster response and planning guidelines in the initial prompt. In DisasterResponseGPT, users input the scenario description and receive a plan of action as output. The proposed method generates multiple plans within seconds, which can be further refined following the user's feedback. Preliminary results indicate that the plans of action developed by DisasterResponseGPT are comparable to human-generated ones while offering greater ease of modification in real-time. This approach has the potential to revolutionize disaster response operations by enabling rapid updates and adjustments during the plan's execution.

研究动机与目标

• 在时间关键的灾难场景中，推动更快的行动计划制定的需求。
• 提出一个框架，通过在提示中融入灾害响应指南，使用 LLMs 快速生成有效的行动计划。
• 证明由 LLM 生成的计划在质量上可与人类创建的计划相当，并且可在实时中轻松修改。

提出的方法

• 通过向 LLMs 提供知识库（如 FEMA 指南）和规划示例来利用上下文学习。
• 提示 LLM 产出包含目标、关键任务、主/辅助行动、期望状态以及可行性/恰当性/适用性检查的三个行动计划。
• 通过自然语言反馈启用用户交互以选择并迭代细化所选方案。
• 将多种后端 LLM（GPT-3.5、GPT-4、Bard）生成的计划与人类生成的计划进行比较。
• 在后端支持多模态时生成可选的可视化草图或草图说明（本研究中未实现）。

实验结果

研究问题

• RQ1 LLMs 能否快速生成适用于灾害响应场景的有效行动计划？
• RQ2 在实时细化下，LLM 生成的计划与人类计划在质量和适应性方面有何比较？
• RQ3 不同的 LLM 后端（GPT-3.5、GPT-4、Bard）是否产生可比较的计划，定性差异是什么？
• RQ4 在基于 LLM 的规划中，多模态输出（如草图）和上下文容量的限制是什么？

主要发现

• 基于 LLM 的 DisasterResponseGPT 能在几秒钟内生成多份计划，经过简短的用户交互后最终计划就绪。
• GPT-3.5、GPT-4 和 Bard 生成的计划在该情景下的质量与人类生成的计划基本可比。
• DisasterResponseGPT-3.5 与人类计划最为接近，并且独特地将幸存者分配到救援任务，这一点不同于某些基线。
• 部分后端倾向于在任务之间重复使用同一资源，给人一种按顺序执行任务而非并行分配的印象。
• 在本研究中，计划的草图生成未由 LLM 自动实现；草图要么不可用，要么需要用户创建。
• 该框架展示了实时计划修改的潜力，有助于执行过程中的快速调整。