[論文レビュー] Enhancing Emergency Decision-making with Knowledge Graphs and Large Language Models

Minze Chen, Zhenxiang Tao+4 more|arXiv (Cornell University)|Nov 15, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、構造化された緊急状況知識グラフと大規模言語モデル（LLMs）を統合するハイブリッドシステムE-KELLを提案する。分野特化の知識を用いてLLMをプロンプトチェーンで誘導することで、誤り（ホールーシネーション）を低減し、推論能力を向上させ、実世界の評価において緊急対応担当者から包括性、正確性、簡潔さ、指示性の各分野で9.03～9.09の高いスコアを達成した。

ABSTRACT

Emergency management urgently requires comprehensive knowledge while having a high possibility to go beyond individuals' cognitive scope. Therefore, artificial intelligence(AI) supported decision-making under that circumstance is of vital importance. Recent emerging large language models (LLM) provide a new direction for enhancing targeted machine intelligence. However, the utilization of LLM directly would inevitably introduce unreliable output for its inherent issue of hallucination and poor reasoning skills. In this work, we develop a system called Enhancing Emergency decision-making with Knowledge Graph and LLM (E-KELL), which provides evidence-based decision-making in various emergency stages. The study constructs a structured emergency knowledge graph and guides LLMs to reason over it via a prompt chain. In real-world evaluations, E-KELL receives scores of 9.06, 9.09, 9.03, and 9.09 in comprehensibility, accuracy, conciseness, and instructiveness from a group of emergency commanders and firefighters, demonstrating a significant improvement across various situations compared to baseline models. This work introduces a novel approach to providing reliable emergency decision support.

研究の動機と目的

• 人的認知が複雑さのため圧倒されがちな緊急管理分野において、信頼性があり根拠に基づいた意思決定支援のニーズに対応する。
• 特に誤りや弱い推論という課題を抱える単体のLLMsの限界を、構造的で分野特化の知識で出力を根拠づけることで克服する。
• 緊急対策規程や基準を形式的知識グラフに統合し、正確で追跡可能で解釈可能な意思決定支援を可能にするシステムを開発する。
• 構造的知識上での明示的推論チェーンを用いることで、AI駆動の緊急対応助言の解釈可能性と信頼性を向上させる。
• 分野専門家、特に緊急対応指揮官や消防士のフィードバックを用いて、多様な緊急シナリオにおけるシステムのパフォーマンスを評価する。

提案手法

• 中国の緊急対策基準、規則、および事象対応手順を用いて、危険要因、対応措置、対応段階の間の関係を形式化した構造的緊急知識グラフを構築する。
• LLMが知識グラフ上で推論できるように、段階的なプロンプトチェーンを設計し、各応答が事前に検証済みの事実に基づくことを保証する。
• 推論時にLLMと知識グラフを統合し、リtrieval-augmented generationを用いて出力を既知の緊急対策プロトコルの範囲内に制限する。
• 化学漏れや火災のような動的緊急シナリオに適応する、複数回のやり取りと文脈に配慮した対話に対応できるモジュラーなシステムアーキテクチャを実装する。
• リトリーブと推論メカニズムを適用し、LLMが出力する内容を公式の緊急対策フレームワークとリアルタイムの状況データに一致させる。
• 人間を含めた評価を用いて、正確性、明確さ、簡潔さ、指示性の各次元で応答品質を検証する。

実験結果

リサーチクエスチョン

• RQ1 高リスクの緊急意思決定において、大規模言語モデル（LLMs）を効果的に制限し、誤りを低減する方法は何か？
• RQ2 知識グラフは、LLMが生成する緊急対応助言の推論品質と事実整合性をどの程度向上させ得るか？
• RQ3 LLMsと構造的知識のハイブリッドシステムは、単体のLLMsに比べ、緊急対応タスクにおける正確性と信頼性の面で優れていると評価できるか？
• RQ4 分野特化の知識に根拠を置いたLLM生成応答は、緊急対応担当者が包括性と実用性の観点からどのように評価するか？
• RQ5 プロンプトチェーンによる構造的推論は、緊急意思決定支援出力の整合性と実行可能性にどのような影響を与えるか？

主な発見

• E-KELLは、公式中国基準から抽出した洗練された緊急状況知識グラフにLLM出力を根拠づけることで、誤りを顕著に低減し、事実整合性を向上させた。
• 実世界の評価において、E-KELLは緊急対応指揮官や消防士から平均9.06（包括性）、9.09（正確性）、9.03（簡潔さ）、9.09（指示性）のスコアを獲得した。
• E-KELLは、ChatGLM-6b や GPT-3.5 などのベースラインLLMsに比べ、構造的で実行可能で文脈に適した緊急対応指針を生成する点で優れた性能を示した。
• プロンプトチェーンメカニズムにより、LLMが知識グラフ上で段階的に推論できるようになり、より整合的かつ論理的につながる応答が得られた。
• 緊急対応専門家は、E-KELLの出力が非常に実用的で、特に危険物漏れのような複雑なシナリオにおいてもリアルタイム意思決定支援に適していると評価した。
• 構造的知識とLLMsの統合により、追跡可能で解釈可能で法的に説明可能な意思決定支援が可能となり、高リスクな緊急環境における主な懸念事項に対処した。