[论文解读] Can Large Language Models assist in Hazard Analysis?

Simon Diemert, Jens Weber|arXiv (Cornell University)|Mar 25, 2023

Occupational Health and Safety ResearchHealth Professions被引用 3

一句话总结

本文研究了大型语言模型（LLMs），特别是OpenAI的ChatGPT，在通过一种名为共危害分析（CoHA）的创新方法进行危害分析中的应用，该方法通过上下文感知对话使人类分析师与LLMs协作以识别潜在的危害原因。结果表明，LLMs可以在早期分析阶段显著支持人类分析师进行危害识别，尽管在准确性和一致性方面存在明显局限。

ABSTRACT

Large Language Models (LLMs), such as GPT-3, have demonstrated remarkable natural language processing and generation capabilities and have been applied to a variety tasks, such as source code generation. This paper explores the potential of integrating LLMs in the hazard analysis for safety-critical systems, a process which we refer to as co-hazard analysis (CoHA). In CoHA, a human analyst interacts with an LLM via a context-aware chat session and uses the responses to support elicitation of possible hazard causes. In this experiment, we explore CoHA with three increasingly complex versions of a simple system, using Open AI's ChatGPT service. The quality of ChatGPT's responses were systematically assessed to determine the feasibility of CoHA given the current state of LLM technology. The results suggest that LLMs may be useful for supporting human analysts performing hazard analysis.

研究动机与目标

• 评估将大型语言模型（LLMs）整合到安全关键系统危害分析流程中的可行性。
• 研究LLMs是否可以通过交互式、上下文感知对话协助人类分析师识别潜在的危害原因。
• 评估LLM生成的危害建议在日益复杂的系统模型中的质量与可靠性。
• 识别当前LLM技术在支持系统性危害识别方面的优势与局限性。
• 为未来在安全工程工作流中实现人机协作奠定基础。

提出的方法

• 本研究采用共危害分析（CoHA）框架，使人类分析师通过迭代式、上下文感知的聊天会话与ChatGPT互动，以提取危害原因。
• 设计了三个复杂度逐步提升的简单系统版本，以测试LLM在不同系统复杂度下生成相关危害建议的能力。
• 使用预设标准系统评估ChatGPT的响应，评估标准包括相关性、完整性与技术准确性。
• 评估重点在于生成的危害原因的质量，包括其与安全工程原则及领域特定知识的一致性。
• 实验在受控环境中进行，采用结构化提示，并对LLM输出进行迭代优化。
• 采用定性评估方法分析LLM生成的危害建议的性质与质量，重点关注其在真实世界安全分析情境中的实用性。

实验结果

研究问题

• RQ1 大型语言模型（如ChatGPT）是否能有效协助人类分析师在危害分析的早期阶段识别潜在的危害原因？
• RQ2 LLM生成的危害建议质量如何随系统复杂度的增加而变化？
• RQ3 与传统人工主导的方法相比，LLM在支持危害识别方面的优势与局限性是什么？
• RQ4 与LLM进行上下文感知的交互式对话在多大程度上能提升危害识别的全面性？
• RQ5 LLM在安全关键系统背景下提出危害原因的可靠性与技术合理性如何？

主要发现

• 如ChatGPT等LLM能够生成相关且技术上合理的危害原因，尤其在简单系统中表现突出，显示出作为危害分析辅助工具的潜力。
• LLM响应的质量差异显著，部分输出包含看似合理但错误或无关的危害原因，表明需要人工验证。
• 随着系统复杂度的提高，LLM生成准确且全面危害建议的能力下降，凸显其可扩展性局限。
• 上下文感知对话支持对LLM响应的迭代优化，随着时间推移提升了生成危害原因的相关性与完整性。
• LLM在激发人类分析师思维方面表现出潜力，能够提出替代性或被忽视的危害情景，从而增强头脑风暴的效果。
• 尽管存在局限，本研究证实，只要在专家监督下使用，LLM可作为早期阶段危害识别的宝贵增强工具。