[論文レビュー] DisasterResponseGPT: Large Language Models for Accelerated Plan of Action Development in Disaster Response Scenarios

Vinicius G. Goecks, Nicholas R. Waytowich|arXiv (Cornell University)|Jun 29, 2023

Disaster Management and Resilience被引用数 14

ひとこと要約

DisasterResponseGPT は、LLM を用いたインコンテキスト学習を活用して災害対応の行動計画を迅速に生成し、反復的に洗練させ、人間の計画と同等の複数の実行可能な選択肢を提供します。

ABSTRACT

The development of plans of action in disaster response scenarios is a time-consuming process. Large Language Models (LLMs) offer a powerful solution to expedite this process through in-context learning. This study presents DisasterResponseGPT, an algorithm that leverages LLMs to generate valid plans of action quickly by incorporating disaster response and planning guidelines in the initial prompt. In DisasterResponseGPT, users input the scenario description and receive a plan of action as output. The proposed method generates multiple plans within seconds, which can be further refined following the user's feedback. Preliminary results indicate that the plans of action developed by DisasterResponseGPT are comparable to human-generated ones while offering greater ease of modification in real-time. This approach has the potential to revolutionize disaster response operations by enabling rapid updates and adjustments during the plan's execution.

研究の動機と目的

• 時間が切迫した災害シナリオにおいて、行動計画の迅速な開発の必要性を動機づける。
• 災害対応ガイドラインをプロンプトに組み込むことで、LLM を用いて迅速に有効な行動計画を生成するフレームワークを提案する。
• LLM 生成の計画が人間作成の計画と品質面で同等であり、リアルタイムで容易に修正可能であることを示す。

提案手法

• 知識ベース（例：FEMA ガイドライン）と計画例を入力して、LLM にインコンテキスト学習を活用させる。
• LLM に、目的、重要タスク、主要/補助作戦、終結状態、実現可能性/適切性/適合性チェックを含む3つの行動計画を作成するよう促す。
• 自然言語のフィードバックを通じて、選択した計画をユーザーが選択し、反復的に洗練できるようにする。
• 複数のバックエンド LLM（GPT-3.5、GPT-4、Bard）によって生成された計画を、人間が作成した計画と対比させる。
• バックエンドがマルチモーダリティをサポートする場合、任意のビジュアルスケッチやスケッチの指示を生成する（本研究では実現していない）。

実験結果

リサーチクエスチョン

• RQ1 LLMs は災害対応シナリオに対して迅速に有効で実行可能な行動計画を生成できるか？
• RQ2 リアルタイムの洗練下で、LLM 生成の計画は品質と適応性の面で人間の計画とどう比較されるか？
• RQ3 異なる LLM バックエンド（GPT-3.5、GPT-4、Bard）は同等の計画を生成するか？また質的な違いは何か？
• RQ4 マルチモーダル出力（例：スケッチ）とコンテキストサイズにおける LLM ベースの計画作成の制限は何か？

主な発見

• LLM を支援としている DisasterResponseGPT は数秒以内に複数の計画を生成でき、最終計画は短時間のユーザーインタラクションの後に準備完了となる。
• GPT-3.5、GPT-4、Bard によって作成された計画は、シナリオ内の人間が作成した計画と品質面でほぼ同等である。
• DisasterResponseGPT-3.5 は人間の計画に最も近く、一部のベースラインとは異なり生存者を救助任務へ割り当てる点で独自であった。
• 一部のバックエンドはタスク間で同じ資産を再利用し、並列割り当てではなく逐次的なタスク実行の印象を与えがちであった。
• 本研究では、計画のスケッチ生成は自動的には実現されず、スケッチは利用不能か、ユーザー作成を必要とした。
• このフレームワークはリアルタイムの計画修正の可能性を示しており、実行中の迅速な調整を支援する。