[論文レビュー] FloodBrain: Flood Disaster Reporting by Web-based Retrieval Augmented Generation with an LLM

Grace Colverd, Paul Darm+2 more|arXiv (Cornell University)|Nov 5, 2023

Disaster Management and Resilience被引用数 12

ひとこと要約

FloodBrain は、LLMs を用いたウェブベースの retrieval augmented generation を用いて洪水災害レポートを作成し、G-EVAL、ROUGE、そして人間の判断によって ReliefWeb のグラウンドトゥルースと比較評価し、さらにアブレーション研究を行う。

ABSTRACT

Fast disaster impact reporting is crucial in planning humanitarian assistance. Large Language Models (LLMs) are well known for their ability to write coherent text and fulfill a variety of tasks relevant to impact reporting, such as question answering or text summarization. However, LLMs are constrained by the knowledge within their training data and are prone to generating inaccurate, or "hallucinated", information. To address this, we introduce a sophisticated pipeline embodied in our tool FloodBrain (floodbrain.com), specialized in generating flood disaster impact reports by extracting and curating information from the web. Our pipeline assimilates information from web search results to produce detailed and accurate reports on flood events. We test different LLMs as backbones in our tool and compare their generated reports to human-written reports on different metrics. Similar to other studies, we find a notable correlation between the scores assigned by GPT-4 and the scores given by human evaluators when comparing our generated reports to human-authored ones. Additionally, we conduct an ablation study to test our single pipeline components and their relevancy for the final reports. With our tool, we aim to advance the use of LLMs for disaster impact reporting and reduce the time for coordination of humanitarian efforts in the wake of flood disasters.

研究の動機と目的

• 増加する洪水事象の中で、人道的調整を支援するための迅速かつ正確な洪水影響報告を促進する。
• 洪水報告のためのウェブソース情報を抽出・整理・要約する専門的なパイプラインを開発する。
• 検証済みの抜粋、出典の引用、ヒューマン・イン・ザ・ループ・チェックを統合して、LLM の幻覚リスクに対処する。

提案手法

• 洪水ソースを検索するトリガーとして、日付と場所というキー句を定義する。
• 関連性でフィルタリングするために、LLMを用いて追加の関連ソースを取得するようクエリを拡張する。
• ソースから情報を抽出し、それをLLMに入力してレポート用の質問セットに答える。
• 抽出した内容を、追跡可能性のための引用を付して一貫した最終洪水レポートに要約する。
• テキスト、出典、および氾濫範囲を表示するウェブUIとマッピング機能を提供する。

実験結果

リサーチクエスチョン

• RQ1 内容カバー率や事実性などの指標で、FloodBrainが生成した洪水報告と人間が書いたReliefWeb報告がどれだけ一致するか？
• RQ2 異なるLLMバックボーン（GPT-4、GPT-3.5、PaLM-Text-Bison）が報告品質に与える影響は何か？
• RQ3 強化検索や出典の関連性チェックなどのパイプライン構成要素は、報告品質を向上させ、あるいは計算コストを削減するか？
• RQ4 この分野でG-EVALは人間の評価の信頼できる代理手段となり得るか？
• RQ5 FloodBrainパイプラインにおける報告品質と計算効率のトレードオフは何か？

主な発見

• GPT-4ベースのレポートは、試験されたバックボーンの中で、平均して人間著作のReliefWebレポートとの重複が最も高かった。
• G-EVALのスコアは人間の評価者との相関が最も高く、洪水レポートの評価に有用であることを示唆している。
• アブレーションでは、LLM支援検索を削除するとROUGE指標全般の性能が低下する一方、出典の関連性チェックを削除すると計算コストが削減されるがROUGEの効果は混在する。
• LLM生成クエリを用いた検索の強化は人間のレポートとの一致を改善する。
• 検索、出典の関連性、QAを含む全パイプラインはレポート生成を加速し、ソースをフィルタリングすることで不要なLLM呼び出しを減らす。