[论文解读] GPT-4 and Safety Case Generation: An Exploratory Analysis

Mithila Sivakumar, Alvine Boaye Belle+2 more|arXiv (Cornell University)|Dec 9, 2023

Safety Systems Engineering in Autonomy被引用 4

一句话总结

本文研究了GPT-4使用目标结构化符号（GSN）生成安全论证的能力，通过与X射线系统和轮胎噪声识别系统的真实安全论证对比，评估其结构正确性、语义准确性和合理性。GPT-4表现出中等准确度和与参考案例的强语义一致性，表明其在自动化安全论证辅助方面具有潜力，但由于幻觉风险和非确定性行为，仍需人工监督。

ABSTRACT

In the ever-evolving landscape of software engineering, the emergence of large language models (LLMs) and conversational interfaces, exemplified by ChatGPT, is nothing short of revolutionary. While their potential is undeniable across various domains, this paper sets out on a captivating expedition to investigate their uncharted territory, the exploration of generating safety cases. In this paper, our primary objective is to delve into the existing knowledge base of GPT-4, focusing specifically on its understanding of the Goal Structuring Notation (GSN), a well-established notation allowing to visually represent safety cases. Subsequently, we perform four distinct experiments with GPT-4. These experiments are designed to assess its capacity for generating safety cases within a defined system and application domain. To measure the performance of GPT-4 in this context, we compare the results it generates with ground-truth safety cases created for an X-ray system system and a Machine-Learning (ML)-enabled component for tire noise recognition (TNR) in a vehicle. This allowed us to gain valuable insights into the model's generative capabilities. Our findings indicate that GPT-4 demonstrates the capacity to produce safety arguments that are moderately accurate and reasonable. Furthermore, it exhibits the capability to generate safety cases that closely align with the semantic content of the reference safety cases used as ground-truths in our experiments.

研究动机与目标

• 评估GPT-4对目标结构化符号（GSN）的理解能力，GSN是表示安全论证的标准方法。
• 评估GPT-4在生成真实世界安全关键系统（如X射线系统和基于机器学习的轮胎噪声识别系统）安全论证方面的表现。
• 衡量GPT-4生成的安全论证在结构正确性、语义准确性和合理性方面与真实安全论证的对比。
• 识别大语言模型在安全论证生成中的局限性，特别是幻觉和非确定性行为，并倡导采用人工参与的验证机制。
• 为未来基于提取的GSN规则实现安全论证质量的自动化评估奠定基础。

提出的方法

• 作者提取并形式化了GSN标准的结构与语义规则，作为评估的知识库。
• 设计了基于规则和基于生成的问题，以测试GPT-4对GSN元素和符号的理解。
• 开展了四项不同实验，涵盖领域知识和GSN语法理解的差异，以评估GPT-4的生成能力。
• 使用两个真实系统（X射线系统和基于机器学习的轮胎噪声识别系统）的真实安全论证作为参考基准。
• 通过人工评估，判断GPT-4输出的结构正确性、语义准确性和合理性。
• 未来工作计划将GSN规则编码为验证框架，实现评估的自动化，以支持可扩展的评估。

Figure 1. On the right, an example of safety case adapted from (Chouchani et al . , 2022 ) and depicted in the GSN; on the left, the equivalent of the safety case in the structured prose.

实验结果

研究问题

• RQ1 GPT-4在安全论证建模中，对目标结构化符号（GSN）的理解和正确应用程度如何？
• RQ2 在提供特定领域上下文的前提下，GPT-4生成安全关键系统安全论证的准确性和合理性如何？
• RQ3 GPT-4生成的安全论证在语义内容上与参考真实安全论证的接近程度如何？
• RQ4 使用GPT-4进行安全论证生成的主要局限性是什么，特别是幻觉和非确定性输出方面？
• RQ5 将基于GSN规则的验证集成到LLM生成的安全论证中，能否提高其可靠性？

主要发现

• GPT-4在理解GSN方面表现出高水平的专业能力，在理解任务中获得A级表现。
• GPT-4生成的安全论证在结构正确性与语义准确性方面处于中等水平，且与真实安全论证的语义内容高度一致。
• 该模型生成的安全论证整体上合理且与上下文相关，但尚不足以支持自主部署。
• GPT-4表现出非确定性行为，在多次运行中产生不同输出，对可重现性构成挑战。
• 观察到幻觉现象，表明GPT-4可能生成看似合理但事实错误的安全论证，因此必须进行人工验证。
• 研究结论认为，尽管GPT-4可辅助安全论证生成，但人类专业知识在确保满足安全关键标准方面依然不可或缺。

Figure 2. On the right, the X-ray safety case adapted from (Duan et al . , 2016 ) and depicted in the GSN; on the left, the equivalent of the safety case in the structured prose.