[논문 리뷰] Safety Analysis in the Era of Large Language Models: A Case Study of STPA using ChatGPT

Qi Yi, Xingyu Zhao외 2명|arXiv (Cornell University)|2023. 04. 03.

Occupational Health and Safety Research인용 수 9

한 줄 요약

이 논문은 ChatGPT를 활용하여 자동 비상 제동(AEB) 및 전력 수요 측 관리(DSM) 시스템에 대한 STPA 안전 분석을 수행하는 방법을 평가하고, 협력 방식, 입력 복잡도 및 프롬프트 엔지니어링을 연구하며 인간 전문가와의 비교를 제시합니다.

ABSTRACT

Can safety analysis make use of Large Language Models (LLMs)? A case study explores Systems Theoretic Process Analysis (STPA) applied to Automatic Emergency Brake (AEB) and Electricity Demand Side Management (DSM) systems using ChatGPT. We investigate how collaboration schemes, input semantic complexity, and prompt guidelines influence STPA results. Comparative results show that using ChatGPT without human intervention may be inadequate due to reliability related issues, but with careful design, it may outperform human experts. No statistically significant differences are found when varying the input semantic complexity or using common prompt guidelines, which suggests the necessity for developing domain-specific prompt engineering. We also highlight future challenges, including concerns about LLM trustworthiness and the necessity for standardisation and regulation in this domain.

연구 동기 및 목표

• ChatGPT가 복잡한 안전-중요 시스템의 STPA 안전 분석에 도움을 줄 수 있는지 평가한다.
• STPA 워크플로에서 인간과 ChatGPT 간의 다양한 협력 체계를 비교한다.
• 입력 의미론적 복잡도가 STPA 출력에 미치는 영향을 조사한다.
• 도메인 비확정적 프롬프트와 STPA 특화 프롬프트가 STPA 결과에 미치는 영향을 평가한다.

제안 방법

• 세 가지 협력 체계(one-off simplex, recurring simplex, recurring duplex)를 적용하여 AEB 및 DSM에 대한 STPA 베이스라인에 ChatGPT를 통합한다.
• 비교를 위한 인간 전문가의 STPA 결과를 벤치마크로 사용한다.
• 제어 루프 구조의 입력 의미론적 복잡도(low/medium/high)와 프롬프트 유형(domain-agnostic vs STPA-specific)을 변화시키고 UCA의 정확도를 측정한다.
• 조건 간의 포괄성 및 적합성 차이를 평가하기 위해 Tukey-Kramer 통계 검정을 수행한다.

실험 결과

연구 질문

• RQ1 RQ1: STPA에 ChatGPT를 통합하는 서로 다른 협력 체계가 효과성과 사용성에 어떤 영향을 미치는가?
• RQ2 RQ2: ChatGPT에 대한 입력 질문의 의미론적 복잡도 차이가 STPA 결과에 어느 정도 영향을 미치는가?
• RQ3 RQ3: 도메인 비확정적 프롬프트 엔지니어링이 STPA 결과의 포괄성 및 적합성에 영향을 주는가?

주요 결과

• 인간 개입 없이의 ChatGPT는 STPA 결과에 대해 신뢰할 수 없지만, 신중한 설계로 인간보다 우수한 성과를 낼 수 있다.
• 인간–ChatGPT 상호작용이 많아질수록(Recurrin Duplex) 다른 체계보다 포괄적 UCAs를 산출하지만 더 큰 노력이 필요하다.
• 입력 의미론적 복잡도는 결과에 통계적으로 유의한 차이를 보이지 않았다.
• STPA 특화 프롬프트는 적합성은 크게 개선하지만 더 보수적이고 덜 포괄적인 출력이 생긴다.
• 도메인 비확정적 프롬프트는 일부 지표에서 STPA 특화 프롬프트보다 더 많은 UCAs를 산출하는 경향이 있어 프롬프트 설계가 결과에 영향을 줄 수 있음을 시사한다.
• 모든 실험 데이터는 공개적으로 접근 가능하다.