[論文レビュー] Can Large Language Models assist in Hazard Analysis?

Simon Diemert, Jens Weber|arXiv (Cornell University)|Mar 25, 2023

Occupational Health and Safety ResearchHealth Professions被引用数 3

ひとこと要約

本論文は、大規模言語モデル（LLM）であるOpenAIのChatGPTを用いたハザード分析の新たなアプローチ、共同ハザード分析（CoHA）を通じて、人間のアナリストとLLMが文脈に配慮した対話を通じて潜在的なハザード要因を特定するプロセスの有効性を調査している。結果として、LLMは特に初期段階の分析において人間アナリストの支援を意味的に果たせることが示されたが、正確性と一貫性に著しい制限があることが明らかになった。

ABSTRACT

Large Language Models (LLMs), such as GPT-3, have demonstrated remarkable natural language processing and generation capabilities and have been applied to a variety tasks, such as source code generation. This paper explores the potential of integrating LLMs in the hazard analysis for safety-critical systems, a process which we refer to as co-hazard analysis (CoHA). In CoHA, a human analyst interacts with an LLM via a context-aware chat session and uses the responses to support elicitation of possible hazard causes. In this experiment, we explore CoHA with three increasingly complex versions of a simple system, using Open AI's ChatGPT service. The quality of ChatGPT's responses were systematically assessed to determine the feasibility of CoHA given the current state of LLM technology. The results suggest that LLMs may be useful for supporting human analysts performing hazard analysis.

研究の動機と目的

• 安全が重要なシステムにおけるハザード分析プロセスへの大規模言語モデル（LLM）の統合可能性を評価すること。
• LLMが文脈に配慮した対話によって、人間アナリストが潜在的なハザード要因を特定するのを支援できるかどうかを調査すること。
• 段階的に複雑化するシステムモデルにおいて、LLMが出力するハザード要因の質と信頼性を評価すること。
• 現在のLLM技術が体系的なハザード同定を支援するうえでの強みと限界を特定すること。
• 安全工学ワークフローにおける将来の人的・AI連携の基盤を確立すること。

提案手法

• 本研究では、人間アナリストがChatGPTと繰り返し文脈に配慮したチャットセッションを通じてハザード要因を抽出する、共同ハザード分析（CoHA）フレームワークを採用している。
• LLMの関連性のあるハザード要因の生成能力を評価するため、単純なシステムの三段階にわたる段階的複雑化バージョンを設計した。
• ChatGPTの出力は、関連性、包括性、技術的正確性といった事前に定義された基準に基づき体系的に評価された。
• 評価は、安全工学の原則や分野固有の知識と整合性があるかどうかを含め、生成されたハザード要因の質に焦点を当てた。
• 構造化されたプロンプトとLLM出力の反復的改善を伴う制御された実験環境で分析が実施された。
• LLMが出力するハザード要因の性質と質を分析するための定性的なアプローチが用いられた。特に、実世界の安全分析文脈における実用性に注目した。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTのような大規模言語モデルは、ハザード分析の初期段階において、人間アナリストが潜在的なハザード要因を特定するのを効果的に支援できるか？
• RQ2 システムの複雑さが増すにつれて、LLMが出力するハザード要因の質はどのように変化するか？
• RQ3 従来の人間主導の手法と比較して、LLMがハザード同定を支援するうえでの強みと限界は何か？
• RQ4 文脈に配慮した対話的対話によって、LLMとのやり取りがハザード同定の包括性をどの程度向上できるか？
• RQ5 安全が重要なシステムの文脈において、LLMが提示するハザード要因はどの程度信頼性があり、技術的に妥当であるか？

主な発見

• ChatGPTのようなLLMは、単純なシステムに対しては関連性があり、技術的に妥当なハザード要因を生成できる。これは、ハザード分析における支援的ツールとしての可能性を示している。
• LLMの出力の質には著しいばらつきがあり、一部の出力には妥当に見えるが誤りまたは無関係なハザード要因が含まれており、人間による検証の必要性が示された。
• システムの複雑さが増すと、LLMの正確で包括的なハザード要因の生成能力が低下し、スケーラビリティの限界が顕在化した。
• 文脈に配慮した対話により、LLMの出力を段階的に改善でき、生成されたハザード要因の関連性と包括性が時間とともに向上した。
• LLMは、代替的または見過ごされがちなハザードシナリオを提示することで、人間アナリストの思考を刺激し、ブレインストーミングの効果を高める可能性を示した。
• 限界が存在するものの、本研究は、熟練した監視のもとで使用される限り、LLMが初期段階のハザード同定において価値ある補完的ツールとして機能できることを確認した。