[論文レビュー] Safety Analysis in the Era of Large Language Models: A Case Study of STPA using ChatGPT

Qi Yi, Xingyu Zhao+2 more|arXiv (Cornell University)|Apr 3, 2023

Occupational Health and Safety Research被引用数 9

ひとこと要約

本論文は、ChatGPTを用いたSTPA安全分析の実施を評価し、協調スキーム、入力の複雑さ、プロンプト設計を検討し、人間専門家の結果と比較する。

ABSTRACT

Can safety analysis make use of Large Language Models (LLMs)? A case study explores Systems Theoretic Process Analysis (STPA) applied to Automatic Emergency Brake (AEB) and Electricity Demand Side Management (DSM) systems using ChatGPT. We investigate how collaboration schemes, input semantic complexity, and prompt guidelines influence STPA results. Comparative results show that using ChatGPT without human intervention may be inadequate due to reliability related issues, but with careful design, it may outperform human experts. No statistically significant differences are found when varying the input semantic complexity or using common prompt guidelines, which suggests the necessity for developing domain-specific prompt engineering. We also highlight future challenges, including concerns about LLM trustworthiness and the necessity for standardisation and regulation in this domain.

研究の動機と目的

• ChatGPTが複雑で安全-criticalなシステムのSTPA安全分析を支援できるかを評価する。
• 人間とChatGPTのSTPAワークフローにおける異なる協調スキームを比較する。
• 入力意味論的複雑さがSTPA出力に与える影響を調査する。
• ドメイン非依存プロンプトとSTPA特化プロンプトがSTPA結果に与える効果を評価する。

提案手法

• AEBおよびDSMのベースラインに対して、ChatGPTを統合する3つの協調スキーム（ワンオフ・シンプルクスム、リカーリング・シンプルクスム、リカーリング・デュプレックス）を適用する。
• 比較のベースラインとして人間専門家のSTPA結果を使用する。
• 制御ループ構造の入力意味論的複雑さ（低/中/高）とプロンプトタイプ（ドメイン非依存 vs STPA特化）を変化させ、UCAの正確性を測定する。
• Tukey-Kramer統計検定を実施して、条件間のUCAsの包括性と適切性の差を評価する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: ChatGPTをSTPAに統合する異なる協調スキームは、効果性と使いやすさにどのように影響するか。
• RQ2 RQ2: ChatGPTへの入力質問の意味論的複雑さの変動はSTPA結果にどの程度影響するか。
• RQ3 RQ3: ドメイン非依存プロンプトとSTPA特化プロンプト設計は、STPA結果の包括性と適切性に影響を与えるか。

主な発見

• 人間の介入なしのChatGPTはSTPA結果としては信頼性が低いが、慎重な設計で人間を上回ることがある。
• より多くの人間–ChatGPT対話（リカーリング・デュプレックス）は、他のスキームより包括的なUCAを生み出すが、労力が増える。
• 入力意味論的複雑さは結果に統計的に有意な差を示さなかった。
• STPA特化プロンプトは適切性を著しく向上させるが、保守的で包括性が低くなる傾向がある。
• ドメイン非依存プロンプトは、一部の指標でSTPA特化プロンプトより多くのUCAを生み出す可能性があり、プロンプト設計が結果に影響を与えることを示唆する。
• すべての実験データは公開されている。