[논문 리뷰] Enhancing Emergency Decision-making with Knowledge Graphs and Large Language Models

Minze Chen, Zhenxiang Tao외 4명|arXiv (Cornell University)|2023. 11. 15.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 구조적 비상 상황 지식 그래프와 대규모 언어 모델(Large Language Models, LLMs)을 융합한 하이브리드 시스템인 E-KELL을 제안한다. 이는 도메인 특화 지식을 바탕으로 LLM을 프롬프트 체인을 통해 이끌어내어 의사결정을 향상시키며, 환각 현상( hallucinations )을 줄이고 추론 능력을 향상시킨다. 실제 비상 대응자들의 평가에서 이해 가능성, 정확도, 간결성, 지시성 측면에서 높은 점수(9.03–9.09)를 기록하였다.

ABSTRACT

Emergency management urgently requires comprehensive knowledge while having a high possibility to go beyond individuals' cognitive scope. Therefore, artificial intelligence(AI) supported decision-making under that circumstance is of vital importance. Recent emerging large language models (LLM) provide a new direction for enhancing targeted machine intelligence. However, the utilization of LLM directly would inevitably introduce unreliable output for its inherent issue of hallucination and poor reasoning skills. In this work, we develop a system called Enhancing Emergency decision-making with Knowledge Graph and LLM (E-KELL), which provides evidence-based decision-making in various emergency stages. The study constructs a structured emergency knowledge graph and guides LLMs to reason over it via a prompt chain. In real-world evaluations, E-KELL receives scores of 9.06, 9.09, 9.03, and 9.09 in comprehensibility, accuracy, conciseness, and instructiveness from a group of emergency commanders and firefighters, demonstrating a significant improvement across various situations compared to baseline models. This work introduces a novel approach to providing reliable emergency decision support.

연구 동기 및 목표

• 복잡성으로 인해 인간의 인지 능력이 과부하가 되는 비상 관리 분야에서 신뢰할 수 있고 근거 기반의 의사결정 지원이 필수적이라는 점을 해결한다.
• 특히 환각 현상과 약한 추론 능력으로 인해 한계가 있는 독립형 LLM의 문제를 해결하기 위해, 그 출력을 구조적이고 도메인 특화된 지식에 기반하게 한다.
• 비상 대응 규정과 표준을 공식화한 지식 그래프로 구성하여 정확하고 추적 가능하며 해석 가능한 의사결정 지원을 가능하게 한다.
• 구조적 지식 기반의 명시적 추론 체인을 통해 인공지능 기반 비상 대응 권고의 해석 가능성과 신뢰성을 향상시킨다.
• 비상 대응 지휘관과 소방대원과 같은 전문가들의 피드백을 활용하여 다양한 비상 상황에서의 시스템 성능을 평가한다.

제안 방법

• 중국 비상 대응 표준, 규정, 사고 대응 절차를 기반으로 구조적 비상 상황 지식 그래프를 구축하여 위험 요소, 조치, 대응 단계 간의 관계를 체계화한다.
• LLM이 지식 그래프를 근거로 추론하도록 이끄는 다단계 프롬프트 체인을 설계하여 각 응답이 사실적이고 사전 검증된 지식에 기반하도록 보장한다.
• 추론 시점에 LLM을 지식 그래프와 통합하여 검색 기반 생성 기법을 활용해 출력 범위를 알려진 비상 대응 절차 내에서 제한한다.
• 화학 누출이나 화재와 같은 동적 비상 상황에 대응하기 위해 다단계 대화 및 맥락 인식 기능을 지원하는 모듈식 아키텍처를 구현한다.
• 검색 및 추론 메커니즘을 적용하여 LLM이 생성한 응답을 공식 비상 대응 프레임워크와 실시간 상황 데이터에 맞추어 정렬한다.
• 비상 전문가들의 인간-중심 평가를 통해 정확도, 명확성, 간결성, 지시성 등의 핵심 차원에서 응답 품질을 검증한다.

실험 결과

연구 질문

• RQ1 고위험 비상 의사결정에서 LLM의 환각 현상을 효과적으로 억제하기 위한 방법은 무엇인가?
• RQ2 지식 그래프가 LLM이 생성한 비상 대응 권고의 추론 품질과 사실 일관성에 얼마나 기여하는가?
• RQ3 LLM과 구조적 지식의 하이브리드 시스템이 독립형 LLM보다 비상 대응 과제에서 정확도와 신뢰성 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 도메인 특화 지식에 기반한 LLM 기반 응답이 비상 대응자들에게 이해 가능성과 실용성 측면에서 어떻게 평가되는가?
• RQ5 프롬프트 체인을 통한 구조적 추론이 비상 의사결정 지원 출력의 일관성과 실행 가능성에 어떤 영향을 미치는가?

주요 결과

• E-KELL은 공식 중국 표준에서 유래한 정제된 비상 상황 지식 그래프에 기반한 LLM 출력을 통해 환각 현상을 크게 줄이고 사실 일관성을 향상시켰다.
• 실제 비상 상황 평가에서 비상 지휘관과 소방대원으로부터 평균 점수 9.06(이해 가능성), 9.09(정확도), 9.03(간결성), 9.09(지시성)를 기록하였다.
• 기본 모델인 ChatGLM-6b, GPT-3.5 등에 비해 E-KELL은 구조적이고 실행 가능한, 맥락에 적합한 비상 대응 지침을 더 잘 생성하였다.
• 프롬프트 체인 메커니즘이 LLM이 지식 그래프를 단계별로 추론하도록 효과적으로 이끌어내어 더 일관되고 논리적으로 연결된 응답을 생성하였다.
• 비상 전문가들은 E-KELL의 출력이 실시간 의사결정 지원에 매우 실용적이고 적합하다고 평가하였으며, 특히 유해 화학 누출과 같은 복잡한 상황에서 뛰어난 성능을 보였다.
• 구조적 지식와 LLM의 통합은 추적 가능하고 해석 가능하며 법적으로 정당화할 수 있는 의사결정 지원을 가능하게 하여 고위험 비상 상황 환경에서의 핵심 우려 사항을 해결한다.