[논문 리뷰] DisasterResponseGPT: Large Language Models for Accelerated Plan of Action Development in Disaster Response Scenarios

Vinicius G. Goecks, Nicholas R. Waytowich|arXiv (Cornell University)|2023. 06. 29.

Disaster Management and Resilience인용 수 14

한 줄 요약

DisasterResponseGPT는 LLM과 함께 맥락 내 학습(in-context learning)을 활용하여 재난 대응을 위한 실행 계획을 신속하게 생성하고 반복적으로 다듬어, 인간의 계획과 비교할 수 있을 만큼 여러 개의 실행 가능한 옵션을 제공한다.

ABSTRACT

The development of plans of action in disaster response scenarios is a time-consuming process. Large Language Models (LLMs) offer a powerful solution to expedite this process through in-context learning. This study presents DisasterResponseGPT, an algorithm that leverages LLMs to generate valid plans of action quickly by incorporating disaster response and planning guidelines in the initial prompt. In DisasterResponseGPT, users input the scenario description and receive a plan of action as output. The proposed method generates multiple plans within seconds, which can be further refined following the user's feedback. Preliminary results indicate that the plans of action developed by DisasterResponseGPT are comparable to human-generated ones while offering greater ease of modification in real-time. This approach has the potential to revolutionize disaster response operations by enabling rapid updates and adjustments during the plan's execution.

연구 동기 및 목표

• 시간에 민감한 재난 상황에서 행동 계획 개발을 더 빠르게 해야 하는 필요성을 촉진한다.
• 재난 대응 가이드라인을 프롬트에 포함시켜 LLM이 신속하게 유효한 행동 계획을 생성하도록 하는 프레임워크를 제안한다.
• LLM이 생성한 계획이 인간이 만든 계획과 품질이 비슷하고 실시간으로 쉽게 수정 가능함을 입증한다.

제안 방법

• 지식 기반(예: FEMA 가이드라인)과 계획 예제를 사용해 LLM에 프롬프트를 제공하여 맥락 내 학습을 활용한다.
• LLM에 목표, 중요한 과제, 주요/보조 작전, 최종 상태, 실행 가능성/적절성/적합성 확인 등을 포함하는 세 가지 행동 계획을 산출하도록 프롬프트한다.
• 사용자가 자연어 피드백을 통해 선택하고 선택된 계획을 반복적으로 수정하도록 상호 작용을 가능하게 한다.
• 여러 백엔드 LLM(GPT-3.5, GPT-4, Bard)가 생성한 계획을 인간이 만든 계획과 비교한다.
• 백엔드가 다중 모달리티를 지원할 때 선택적 시각적 스케치나 스케치에 대한 지침을 생성한다(본 연구에서는 달성되지 않음).

실험 결과

연구 질문

• RQ1 LLM이 재난 대응 시나리오를 위한 유효하고 실행 가능한 행동 계획을 신속하게 생성할 수 있는가?
• RQ2 실시간 정제에서 LLM이 생성한 계획이 품질과 적응성 면에서 인간의 계획과 어떻게 비교되는가?
• RQ3 다양한 LLM 백엔드(GPT-3.5, GPT-4, Bard)가 유사한 계획을 생성하는가, 그리고 질적 차이는 무엇인가?
• RQ4 LLM 기반 계획의 다중모달 출력(예: 스케치)과 맥락 크기에서의 한계는 무엇인가?

주요 결과

• LLM-기반 DisasterResponseGPT는 몇 초 이내에 여러 계획을 생성할 수 있으며, 짧은 사용자 상호 작용 후 최종 계획이 준비된다.
• GPT-3.5, GPT-4, Bard가 생성한 계획은 시나리오 내에서 인간이 생성한 계획과 품질 면에서 대부분 유사하다.
• DisasterResponseGPT-3.5가 인간 계획과 가장 근접하게 일치했고 생존자를 구조 작업에 고유하게 배정했다, 일부 베이스라인과 달리.
• 일부 백엔드가 작업 간 동일 자산을 재사용하는 경향이 있어 병렬 배치보다는 순차적 작업 수행 인상을 준다.
• 본 연구에서 계획에 대한 스케치 생성은 LLM에 의해 자동으로 달성되지 않았다; 스케치는 이용 불가하거나 사용자가 생성해야 했다.
• 이 프레임워크는 실행 중 신속한 조정을 돕는 실시간 계획 수정 가능성을 보여준다.