[論文レビュー] GPT-4 and Safety Case Generation: An Exploratory Analysis

Mithila Sivakumar, Alvine Boaye Belle+2 more|arXiv (Cornell University)|Dec 9, 2023

Safety Systems Engineering in Autonomy被引用数 4

ひとこと要約

本稿は、GPT-4がゴール構造化表記（GSN）を用いて安全ケースを生成する能力を調査し、X線装置およびタイヤノイズ認識システムの事実上の安全ケースと比較して、構造的正しさ、意味的正確性、妥当性を評価している。GPT-4は中程度の正確性と強固な意味的整合性を示しており、自動安全ケース支援の可能性を示唆しているが、幻覚のリスクや非決定的動作のため、人間の監視が依然として不可欠である。

ABSTRACT

In the ever-evolving landscape of software engineering, the emergence of large language models (LLMs) and conversational interfaces, exemplified by ChatGPT, is nothing short of revolutionary. While their potential is undeniable across various domains, this paper sets out on a captivating expedition to investigate their uncharted territory, the exploration of generating safety cases. In this paper, our primary objective is to delve into the existing knowledge base of GPT-4, focusing specifically on its understanding of the Goal Structuring Notation (GSN), a well-established notation allowing to visually represent safety cases. Subsequently, we perform four distinct experiments with GPT-4. These experiments are designed to assess its capacity for generating safety cases within a defined system and application domain. To measure the performance of GPT-4 in this context, we compare the results it generates with ground-truth safety cases created for an X-ray system system and a Machine-Learning (ML)-enabled component for tire noise recognition (TNR) in a vehicle. This allowed us to gain valuable insights into the model's generative capabilities. Our findings indicate that GPT-4 demonstrates the capacity to produce safety arguments that are moderately accurate and reasonable. Furthermore, it exhibits the capability to generate safety cases that closely align with the semantic content of the reference safety cases used as ground-truths in our experiments.

研究の動機と目的

• GPT-4が安全ケースを表す標準であるゴール構造化表記（GSN）をどの程度理解しているかを評価すること。
• GPT-4が実世界の安全関連システム、たとえばX線装置や機械学習を活用したタイヤノイズ認識システムに対して、安全ケースをどの程度正確に生成できるかを評価すること。
• GPT-4が生成した安全主張の構造的正しさ、意味的正確性、妥当性を事実上の安全ケースと比較して測定すること。
• 大規模言語モデル（LLM）が安全ケース生成において抱える主な制限、特に幻覚や非決定的動作を特定し、人間を含めた検証の重要性を提唱すること。
• 抽出されたGSNルールを用いた将来的な自動安全ケース品質評価の基盤を構築すること。

提案手法

• 著者らは、GSN標準の構造的および意味的ルールを抽出・形式化し、評価のための知識ベースとして活用した。
• GSN要素および表記法に関する理解をテストするため、ルールベースと生成ベースの質問を設計した。
• ドメイン知識とGSN構文理解の度合いを変化させた4つの異なる実験を実施し、GPT-4の生成能力を評価した。
• 実世界の2つのシステム（X線装置および機械学習を活用したタイヤノイズ認識システム）の事実上の安全ケースを基準ベンチマークとして使用した。
• 構造的正しさ、意味的正確性、妥当性を手動で評価した。
• 今後の作業では、GSNルールを検証フレームワークにエンコードすることで、スケーラブルな自動評価を実現する計画である。

Figure 1. On the right, an example of safety case adapted from (Chouchani et al . , 2022 ) and depicted in the GSN; on the left, the equivalent of the safety case in the structured prose.

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、安全ケースモデリングにおいて、ゴール構造化表記（GSN）をどの程度理解し、正しく適用できるか？
• RQ2 ドメイン固有の文脈が提供された場合、GPT-4は安全関連システムに対して、どの程度正確かつ妥当に安全ケースを生成できるか？
• RQ3 GPT-4が生成した安全ケースの意味的コンテンツは、基準となる事実上の安全ケースとどの程度一致するか？
• RQ4 GPT-4を用いた安全ケース生成における主な制限要因は何か、特に幻覚と非決定的出力の観点から説明せよ。
• RQ5 GSNルールに基づく検証の統合は、LLMが生成する安全ケースの信頼性を向上させることができるか？

主な発見

• GPT-4はGSNの理解度において高い熟練度を示し、理解度テストでAランクの成績を達成した。
• GPT-4が生成した安全ケースは中程度の構造的正しさと意味的正確性を示し、事実上の安全ケースの意味的コンテンツと強い整合性を示した。
• モデルは一般的に妥当で文脈的に関連性のある安全主張を生成したが、完全に自律的に展開するには信頼性に欠ける場合がある。
• GPT-4は非決定的動作を示しており、複数回の実行で出力が変動した。これは再現性の面で課題を生じさせた。
• 幻覚が観察された。これは、GPT-4が一見妥当に見えるが事実とは異なる安全主張を生成する可能性があることを示しており、人間による検証が不可欠であることを示している。
• 本研究の結論として、GPT-4は安全ケース生成の支援が可能であるが、安全基準を満たすためには人間の専門的知識が依然として不可欠であるとされている。

Figure 2. On the right, the X-ray safety case adapted from (Duan et al . , 2016 ) and depicted in the GSN; on the left, the equivalent of the safety case in the structured prose.