[논문 리뷰] FloodBrain: Flood Disaster Reporting by Web-based Retrieval Augmented Generation with an LLM

Grace Colverd, Paul Darm외 2명|arXiv (Cornell University)|2023. 11. 05.

Disaster Management and Resilience인용 수 12

한 줄 요약

FloodBrain은 웹 기반 검색 보강 생성(web-based retrieval augmented generation)과 LLM을 사용하여 홍수 재해 보고서를 작성하며, ReliefWeb의Ground Truth와 G-EVAL, ROUGE 및 인간 평가를 통해 평가하고, 소거 연구를 포함합니다.

ABSTRACT

Fast disaster impact reporting is crucial in planning humanitarian assistance. Large Language Models (LLMs) are well known for their ability to write coherent text and fulfill a variety of tasks relevant to impact reporting, such as question answering or text summarization. However, LLMs are constrained by the knowledge within their training data and are prone to generating inaccurate, or "hallucinated", information. To address this, we introduce a sophisticated pipeline embodied in our tool FloodBrain (floodbrain.com), specialized in generating flood disaster impact reports by extracting and curating information from the web. Our pipeline assimilates information from web search results to produce detailed and accurate reports on flood events. We test different LLMs as backbones in our tool and compare their generated reports to human-written reports on different metrics. Similar to other studies, we find a notable correlation between the scores assigned by GPT-4 and the scores given by human evaluators when comparing our generated reports to human-authored ones. Additionally, we conduct an ablation study to test our single pipeline components and their relevancy for the final reports. With our tool, we aim to advance the use of LLMs for disaster impact reporting and reduce the time for coordination of humanitarian efforts in the wake of flood disasters.

연구 동기 및 목표

• 증가하는 홍수 사건 속에서 인도주의 조정을 돕기 위한 신속하고 정확한 홍수 영향 보고를 촉진합니다.
• 홍수 보고를 위해 웹에서 수집된 정보를 추출·선별·요약하는 전용 파이프라인을 개발합니다.
• 확인된 본문 발췌, 출처 인용, 인간 검토 루프를 통합하여 LLM의 환각 위험을 다룹니다.

제안 방법

• 홍수 출처를 검색하도록 트리거하는 핵심 구문(날짜 및 위치)을 정의합니다.
• LLM을 사용해 쿼리를 확장하고 추가 관련 출처를 검색하며 적합성을 필터링합니다.
• 출처에서 정보를 추출하여 보고서의 일련의 질문에 답하도록 LLM에 입력합니다.
• 발췌된 내용을 인용 출처를 담아 일관되고 최종 홍수 보고서로 요약합니다.
• 웹 UI와 텍스트, 출처 및 홍수 범위를 표시하는 매핑 구성요소를 제공합니다.

실험 결과

연구 질문

• RQ1 FloodBrain에서 생성된 홍수 보고서가 콘텐츠 커버리지 및 사실 정확성과 같은 지표에서 인간이 작성한 ReliefWeb 보고서와 얼마나 잘 정렬되는가?
• RQ2 :
• RQ3 다양한 LLM 백본(GPT-4, GPT-3.5, PaLM-Text-Bison)이 보고서 품질에 미치는 영향은 무엇인가?
• RQ4 파이프라인 구성요소(향상된 검색, 출처 적합성 확인)가 보고서 품질 및/또는 계산 비용을 개선하는가?
• RQ5 이 도메인에서 G-EVAL이 인간 평가의 신뢰 가능한 대리 지표로 작용할 수 있는가?
• RQ6 FloodBrain 파이프라인에서 보고서 품질과 계산 효율성 간의 트레이드오프는 무엇인가?

주요 결과

• GPT-4 기반 보고서는 테스트된 백본 중 인간 작성 ReliefWeb 보고서와의 평균 중복도가 가장 높은 것으로 나타났습니다.
• G-EVAL 점수는 인간 주석자와의 상관관계가 가장 높아 홍수 보고서를 평가하는 데 유용하다는 것을 시사합니다.
• 아블레이션은 LLM 보조 검색을 제거하면 ROUGE 지표 전반에서 성능이 저하되는 반면, 출처 적합성 확인을 제거하면 계산 비용은 감소하나 ROUGE에 혼재된 영향이 나타났습니다.
• LLM으로 생성된 쿼리로 검색을 보강하면 인간 보고서와의 일치도가 개선됩니다.
• 검색, 출처 적합성, QA를 포함한 전체 파이프라인은 보고서 생성을 가속하고 출처를 필터링함으로써 불필요한 LLM 호출을 줄입니다.