[论文解读] FloodBrain: Flood Disaster Reporting by Web-based Retrieval Augmented Generation with an LLM

Grace Colverd, Paul Darm+2 more|arXiv (Cornell University)|Nov 5, 2023

Disaster Management and Resilience被引用 12

一句话总结

FloodBrain 使用基于网络的检索增强生成（RAG）与大型语言模型（LLMs）来生成洪涝灾害报告，并通过 G-EVAL、ROUGE 及人工评估，与 ReliefWeb 的真实数据进行对比，同时包含一个消融研究。

ABSTRACT

Fast disaster impact reporting is crucial in planning humanitarian assistance. Large Language Models (LLMs) are well known for their ability to write coherent text and fulfill a variety of tasks relevant to impact reporting, such as question answering or text summarization. However, LLMs are constrained by the knowledge within their training data and are prone to generating inaccurate, or "hallucinated", information. To address this, we introduce a sophisticated pipeline embodied in our tool FloodBrain (floodbrain.com), specialized in generating flood disaster impact reports by extracting and curating information from the web. Our pipeline assimilates information from web search results to produce detailed and accurate reports on flood events. We test different LLMs as backbones in our tool and compare their generated reports to human-written reports on different metrics. Similar to other studies, we find a notable correlation between the scores assigned by GPT-4 and the scores given by human evaluators when comparing our generated reports to human-authored ones. Additionally, we conduct an ablation study to test our single pipeline components and their relevancy for the final reports. With our tool, we aim to advance the use of LLMs for disaster impact reporting and reduce the time for coordination of humanitarian efforts in the wake of flood disasters.

研究动机与目标

• 促使快速、准确的洪涝影响报告，以帮助人道主义协调，应对日益增多的洪水事件。
• 开发一个专门的工作流程，提取、筛选并汇总网页信息用于洪涝报告。
• 通过整合已验证段落、来源引用和人工在环检查，解决 LLM 产生幻觉的风险。

提出的方法

• 定义一个关键短语（日期和地点）以触发对洪涝来源的网页检索。
• 用一个 LLM 扩展查询，以检索更多相关来源并按相关性过滤。
• 从来源提取信息并输入到一个 LLM 中，以回答一组用于报告的问题。
• 将提取的内容汇总成一个连贯的、最终的洪涝报告，并附上可追溯的引用。
• 提供一个网页用户界面和一个映射组件，用于显示文本、来源和洪涝范围。

实验结果

研究问题

• RQ1 FloodBrain 生成的洪涝报告在内容覆盖和事实准确性等指标上与人工撰写的 ReliefWeb 报告的对齐程度如何？
• RQ2 不同的 LLM 主干（GPT-4、GPT-3.5、PaLM-Text-Bison）对报告质量有何影响？
• RQ3 管道组件（增强检索、来源相关性检查）是否能提升报告质量和/或降低计算成本？
• RQ4 G-EVAL 能否作为该领域人类评估的可靠替代？
• RQ5 在 FloodBrain 管道中，报告质量与计算效率之间的权衡是什么？

主要发现

• 基于 GPT-4 的报告在与人工撰写的 ReliefWeb 报告的平均重合度方面，在测试的后端中最高。
• G-EVAL 分数与人类评注者的相关性最高，表明其在评估洪涝报告方面的有用性。
• 消融显示，移除由 LLM 辅助的检索会降低 ROUGE 指标的表现，而移除来源相关性检查虽然降低了计算成本但对 ROUGE 的影响喜忧参半。
• 用 LLM 生成的查询扩展检索可以提高与人工报告的一致性。
• 完整管道（包括检索、来源相关性和问答）加速报告生成并通过筛选来源减少不必要的 LLM 调用。