[논문 리뷰] GPT-4 and Safety Case Generation: An Exploratory Analysis

Mithila Sivakumar, Alvine Boaye Belle외 2명|arXiv (Cornell University)|2023. 12. 09.

Safety Systems Engineering in Autonomy인용 수 4

한 줄 요약

이 논문은 X선 시스템과 타이어 소음 인식 시스템의 기준 안전 사례를 바탕으로 GPT-4가 목표 구조화 기법(GSN)을 사용해 안전 사례를 생성하는 능력을 조사한다. 구조적 정확성, 의미적 정확성, 타당성을 평가한다. GPT-4는 중간 정도의 정확도와 기준 사례와 강한 의미적 일치도를 보이며, 자동화된 안전 사례 보조 기능의 잠재력을 보여주지만, 환상 생성 위험과 비결정성으로 인해 인간의 감시가 여전히 필수적임을 시사한다.

ABSTRACT

In the ever-evolving landscape of software engineering, the emergence of large language models (LLMs) and conversational interfaces, exemplified by ChatGPT, is nothing short of revolutionary. While their potential is undeniable across various domains, this paper sets out on a captivating expedition to investigate their uncharted territory, the exploration of generating safety cases. In this paper, our primary objective is to delve into the existing knowledge base of GPT-4, focusing specifically on its understanding of the Goal Structuring Notation (GSN), a well-established notation allowing to visually represent safety cases. Subsequently, we perform four distinct experiments with GPT-4. These experiments are designed to assess its capacity for generating safety cases within a defined system and application domain. To measure the performance of GPT-4 in this context, we compare the results it generates with ground-truth safety cases created for an X-ray system system and a Machine-Learning (ML)-enabled component for tire noise recognition (TNR) in a vehicle. This allowed us to gain valuable insights into the model's generative capabilities. Our findings indicate that GPT-4 demonstrates the capacity to produce safety arguments that are moderately accurate and reasonable. Furthermore, it exhibits the capability to generate safety cases that closely align with the semantic content of the reference safety cases used as ground-truths in our experiments.

연구 동기 및 목표

• GPT-4가 안전 사례를 표현하는 표준인 목표 구조화 기법(GSN)을 이해하는 정도를 평가하기 위해.
• 실제 안전 중심 시스템인 X선 시스템과 기계학습 기반 타이어 소음 인식 시스템에 대해 GPT-4의 안전 사례 생성 성능을 평가하기 위해.
• GPT-4가 생성한 안전 논증의 구조적 정확성, 의미적 정확성, 타당성을 기준 안전 사례와 비교하여 측정하기 위해.
• LLM이 안전 사례 생성에서 겪는 한계, 특히 환상과 비결정적 행동을 규명하고 인간이 개입하는 검증 방식을 권장하기 위해.
• 추출된 GSN 규칙를 활용한 향후 자동화된 안전 사례 품질 평가 기반을 마련하기 위해.

제안 방법

• 저자들은 평가를 위한 지식 기반으로 사용하기 위해 GSN 표준의 구조적 및 의미적 규칙을 추출하고 형식화했다.
• GSN 요소와 표기법에 대한 이해를 테스트하기 위해 규칙 기반 및 생성 기반 질문을 설계했다.
• GPT-4의 생성 능력을 평가하기 위해 도메인 지식 및 GSN 구문 이해 수준을 달리한 네 가지 실험을 실시했다.
• 기준 안전 사례로 X선 시스템과 기계학습 기반 타이어 소음 인식 시스템의 실제 사례를 기준 벤치마크로 사용했다.
• GPT-4 출력의 구조적 정확성, 의미적 정확성, 타당성을 평가하기 위해 수동 평가를 수행했다.
• 향후 작업으로 GSN 규칙를 검증 프레임워크에 통합하여 확장 가능한 평가를 자동화할 계획이다.

Figure 1. On the right, an example of safety case adapted from (Chouchani et al . , 2022 ) and depicted in the GSN; on the left, the equivalent of the safety case in the structured prose.

실험 결과

연구 질문

• RQ1 GPT-4는 안전 사례 모델링에서 목표 구조화 기법(GSN)을 얼마나 잘 이해하고 정확히 적용할 수 있는가?
• RQ2 도메인 특화된 맥락이 제공되었을 때, GPT-4는 안전 중심 시스템에 대해 얼마나 정확하고 타당하게 안전 사례를 생성할 수 있는가?
• RQ3 GPT-4가 생성한 안전 사례의 의미적 내용은 기준 기준 안전 사례와 얼마나 유사한가?
• RQ4 GPT-4를 사용한 안전 사례 생성에서의 주요 한계는 무엇인가, 특히 환상과 비결정적 출력에 대해 말이다?
• RQ5 GSN 규칙 기반 검증 통합이 LLM이 생성한 안전 사례의 신뢰성을 높일 수 있는가?

주요 결과

• GPT-4는 GSN 이해도에서 높은 수준의 숙련도를 보이며, 이해도 테스크에서 A 등급 성과를 달성했다.
• GPT-4가 생성한 안전 사례는 중간 정도의 구조적 정확성과 의미적 정확성을 보였으며, 기준 사례의 의미적 내용과 강한 일치도를 보였다.
• 모델는 일반적으로 타당하고 맥락에 부합하는 안전 논증을 생성했지만, 자율적 구현에는 여전히 충분히 신뢰할 수 없었다.
• GPT-4는 비결정적 행동을 보였으며, 여러 실행 간에 출력이 달라져 재현성에 도전을 안겼다.
• 환상이 관찰되었으며, 이는 GPT-4가 사실적으로 잘못된 안전 논증을 유력하게 생성할 수 있음을 시사하며, 인간 검증이 필수적임을 나타냈다.
• 연구는 GPT-4가 안전 사례 생성을 보조할 수는 있지만, 안전 중심 기준을 충족시키기 위해 인간 전문성의 존재가 여전히 필수적이라고 결론 내렸다.

Figure 2. On the right, the X-ray safety case adapted from (Duan et al . , 2016 ) and depicted in the GSN; on the left, the equivalent of the safety case in the structured prose.