[论文解读] KRAIL: A Knowledge-Driven Framework for Base Human Reliability Analysis Integrating IDHEAS and Large Language Models

Xingyu Xiao, Peng Chen+5 more|arXiv (Cornell University)|Dec 20, 2024

Risk and Safety AnalysisDecision Sciences被引用 3

一句话总结

本文提出 KRAIL，一种基于知识的两阶段框架，将 IDHEAS-DATA 与大型语言模型（LLMs）及知识图谱相结合，实现半自动化的基础人类错误概率（BHEP）估算。通过利用多智能体任务分解和基于 Neo4j 知识图谱的检索增强生成，KRAIL 将 BHEP 估算时间缩短至 150 秒以内，同时保持高精度，为高风险行业提供一种可扩展、专家参与的替代方案，以替代传统的人工 HRA 方法。

ABSTRACT

Human reliability analysis (HRA) is crucial for evaluating and improving the safety of complex systems. Recent efforts have focused on estimating human error probability (HEP), but existing methods often rely heavily on expert knowledge,which can be subjective and time-consuming. Inspired by the success of large language models (LLMs) in natural language processing, this paper introduces a novel two-stage framework for knowledge-driven reliability analysis, integrating IDHEAS and LLMs (KRAIL). This innovative framework enables the semi-automated computation of base HEP values. Additionally, knowledge graphs are utilized as a form of retrieval-augmented generation (RAG) for enhancing the framework' s capability to retrieve and process relevant data efficiently. Experiments are systematically conducted and evaluated on authoritative datasets of human reliability. The experimental results of the proposed methodology demonstrate its superior performance on base HEP estimation under partial information for reliability assessment.

研究动机与目标

• 解决传统人类可靠性分析（HRA）中基础人类错误概率（BHEP）估算耗时且依赖专家的问题。
• 通过引入一种自动化、基于 LLM 的框架，减少 BHEP 计算对人工主观判断的依赖。
• 通过知识图谱增强的检索与多智能体任务分解，提升 BHEP 估算的效率与准确性。
• 为 HRA 实践者，特别是核能与航空等高风险行业，提供一种可扩展、用户友好的解决方案。
• 通过权威 HRA 数据集与真实世界案例研究，验证框架的性能。

提出的方法

• 该框架采用两阶段流程：首先，多智能体系统将人类任务分解为认知组件、上下文、时间约束和错误度量。
• 其次，LLM 处理由基于 IDHEAS-DATA 的知识图谱生成的自然语言表示，推断 BHEP 计算中缺失的参数。
• 基于 Neo4j 的知识图谱用于存储和检索特定领域的 HRA 数据，支持结构化、上下文感知的推理，以预测错误率。
• 采用检索增强生成（RAG）技术，将 LLM 输出锚定在真实的 IDHEAS-DATA 上下文中，提升可靠性并减少幻觉。
• 基于 Gradio 的 Web 界面使终端用户能够输入案例数据、触发任务分解，并生成 BHEP 估算结果，同时具备专家审核功能。
• 系统支持迭代优化，允许专家在最终错误率计算前验证并调整参数。

Figure 1: IDHEAS-ECA HRA Process [ 3 ]

实验结果

研究问题

• RQ1 基于 LLM 的框架是否能在保持准确性的前提下，显著缩短基础人类错误概率（BHEP）估算所需时间，相比人工方法？
• RQ2 在信息有限的情境下，知识图谱在 HRA 参数估算中的检索与推理能力有多高效？
• RQ3 多智能体任务分解在多大程度上提升了 HRA 中人类绩效分析的一致性与完整性？
• RQ4 将 IDHEAS-DATA 与 LLM 集成后，能否生成与专家验证基准一致的 BHEP 估算结果？
• RQ5 在 HRA 应用中，与标准 LLM 推理相比，RAG 增强的 LLM 方法在事实一致性与可靠性方面表现如何？

主要发现

• KRAIL 框架将基础 HEP 估算时间缩短至 150 秒以内，显著优于人工方法，效率大幅提升。
• 该框架在信息不完整的情况下仍能实现高精度的 BHEP 估算，展现出在低数据场景下的鲁棒性。
• 将知识图谱与 LLM 集成可提升检索精度，减少幻觉，增强生成参数的事实依据。
• 消融实验表明，多智能体分解与知识图谱组件对实现最优性能均至关重要。
• 基于 Web 的界面使领域专家能够实际、交互式地使用系统，支持迭代优化与结果的专家验证。
• 该框架在多种 HRA 案例研究中表现出强泛化能力，表明其在高风险行业中的广泛应用潜力。

Figure 2: KRAIL: A Knowledge-Driven Framework Integrating IDHEAS and Large Language Models for Base Human Reliability Analysis