[논문 리뷰] Can Large Language Models assist in Hazard Analysis?

Simon Diemert, Jens Weber|arXiv (Cornell University)|2023. 03. 25.

Occupational Health and Safety ResearchHealth Professions인용 수 3

한 줄 요약

이 논문은 인간 분석가가 맥락 인식 대화를 통해 대규모 언어 모델(Large Language Models, LLMs), 특히 OpenAI의 ChatGPT와 협업하는 새로운 접근 방식인 공해소석 분석(CoHA)을 통해 잠재적 위험 원인을 식별하는 데 LLMs의 활용을 조사한다. 결과적으로 LLMs는 초기 단계의 분석에서 인간 분석가가 위험을 도출하는 데 의미 있는 지원을 할 수 있으나, 정확도와 일관성 측면에서 뚜렷한 한계를 보인다.

ABSTRACT

Large Language Models (LLMs), such as GPT-3, have demonstrated remarkable natural language processing and generation capabilities and have been applied to a variety tasks, such as source code generation. This paper explores the potential of integrating LLMs in the hazard analysis for safety-critical systems, a process which we refer to as co-hazard analysis (CoHA). In CoHA, a human analyst interacts with an LLM via a context-aware chat session and uses the responses to support elicitation of possible hazard causes. In this experiment, we explore CoHA with three increasingly complex versions of a simple system, using Open AI's ChatGPT service. The quality of ChatGPT's responses were systematically assessed to determine the feasibility of CoHA given the current state of LLM technology. The results suggest that LLMs may be useful for supporting human analysts performing hazard analysis.

연구 동기 및 목표

• 안전이 중요한 시스템을 위한 위험 분석 프로세스에 대규모 언어 모델(LLMs)를 통합하는 것의 타당성을 평가하는 것.
• LLMs가 상호작용적이고 맥락 인식 대화를 통해 인간 분석가가 잠재적 위험 원인을 식별하는 데 도움을 줄 수 있는지 조사하는 것.
• 점차 복잡도가 높아지는 시스템 모델에서 LLM이 생성한 위험 제안의 품질과 신뢰성 평가.
• 현재 LLM 기술이 체계적인 위험 도출을 지원하는 데 있어 장점과 한계를 규명하는 것.
• 안전 공학 워크플로우에서의 향후 인간-AI 협업을 위한 기반 마련.

제안 방법

• 연구는 인간 분석가가 ChatGPT와 반복적이고 맥락 인식 대화 세션을 통해 위험 원인을 도출하는 공해소석 분석(CoHA) 프레임워크를 사용한다.
• LLM이 다양한 수준의 시스템 복잡도에서 관련 위험 제안을 생성할 수 있는지 테스트하기 위해 단순 시스템의 점진적으로 복잡도가 높아진 세 가지 버전을 설계하였다.
• ChatGPT의 응답은 관련성, 완전성, 기술적 정확도와 같은 사전 정의된 기준을 사용해 체계적으로 평가되었다.
• 평가 초점은 안전 공학 원칙과 도메인 특화 지식과의 일치도를 포함한 위험 원인의 질에 맞춰졌다.
• 구조화된 프롬프트와 LLM 출력의 반복적 개선을 포함한 통제된 실험 환경에서 분석이 수행되었다.
• LLM이 생성한 위험 제안의 성격과 품질을 분석하기 위해 정성적 평가 접근 방식이 사용되었다. 이는 실제 안전 분석 환경에서의 유용성에 중점을 두었다.

실험 결과

연구 질문

• RQ1 ChatGPT와 같은 대규모 언어 모델(LLMs)은 위험 분석의 초반 단계에서 인간 분석가가 잠재적 위험 원인을 식별하는 데 효과적으로 기여할 수 있는가?
• RQ2 시스템의 복잡도가 증가함에 따라 LLM이 생성한 위험 제안의 품질은 어떻게 변화하는가?
• RQ3 전통적인 인간 주도 방법과 비교했을 때 LLM이 위험 도출을 지원하는 데 있어서의 장점과 한계는 무엇인가?
• RQ4 맥락 인식 대화와 상호작용을 통해 LLM과의 대화가 위험 식별의 포괄성에 얼마나 기여하는가?
• RQ5 안전이 중요한 시스템 환경에서 LLM이 제안한 위험 원인은 얼마나 신뢰할 수 있고 기술적으로 타당한가?

주요 결과

• ChatGPT와 같은 LLMs는 간단한 시스템에 대해 관련성 있고 기술적으로 타당한 위험 원인을 생성할 수 있으며, 이는 위험 분석에서 지원 도구로서의 잠재력을 보여준다.
• LLM 응답의 품질은 상당한 변동성을 보였으며, 일부 출력은 타당해 보이지만 잘못되거나 관련이 없는 위험 원인을 포함하고 있어 인간 검증이 필요함을 시사한다.
• 시스템 복잡도가 증가함에 따라 LLM이 정확하고 포괄적인 위험 제안을 생성하는 능력이 떨어졌으며, 이는 확장성의 한계를 드러낸다.
• 맥락 인식 대화를 통해 LLM의 응답을 반복적으로 개선함으로써, 시간이 지남에 따라 생성된 위험 원인의 관련성과 완전성이 향상되었다.
• LLMs는 인간 분석가의 사고를 자극하여 다른 또는 간과된 위험 시나리오를 제안함으로써 브레인스토밍의 효과를 높이는 데에도 기여했다.
• 한계가 있음에도 불구하고, 본 연구는 전문가의 감독 하에 사용될 경우 LLMs가 초기 단계의 위험 도출에 있어 유용한 보조 도구가 될 수 있음을 확인한다.