[논문 리뷰] KRAIL: A Knowledge-Driven Framework for Base Human Reliability Analysis Integrating IDHEAS and Large Language Models

Xingyu Xiao, Peng Chen외 5명|arXiv (Cornell University)|2024. 12. 20.

Risk and Safety AnalysisDecision Sciences인용 수 3

한 줄 요약

이 논문은 지식 기반의 이중 단계 프레임워크인 KRAIL을 제안한다. 이는 IDHEAS-DATA와 대규모 언어 모델(Large Language Models, LLMs), 지식 그래프를 통합하여 반자동으로 기본 인간 오류 확률(BHEP) 추정을 가능하게 한다. 다중 에이전트 작업 분해 및 Neo4j 지식 그래프를 통한 검색 증강 생성을 활용하여 KRAIL은 BHEP 추정 시간을 150초 이내로 단축하면서도 높은 정확도를 유지한다. 이는 수동 HRA 방법에 비해 확장 가능하고 전문가의 지침을 반영한 대안을 제공한다.

ABSTRACT

Human reliability analysis (HRA) is crucial for evaluating and improving the safety of complex systems. Recent efforts have focused on estimating human error probability (HEP), but existing methods often rely heavily on expert knowledge,which can be subjective and time-consuming. Inspired by the success of large language models (LLMs) in natural language processing, this paper introduces a novel two-stage framework for knowledge-driven reliability analysis, integrating IDHEAS and LLMs (KRAIL). This innovative framework enables the semi-automated computation of base HEP values. Additionally, knowledge graphs are utilized as a form of retrieval-augmented generation (RAG) for enhancing the framework' s capability to retrieve and process relevant data efficiently. Experiments are systematically conducted and evaluated on authoritative datasets of human reliability. The experimental results of the proposed methodology demonstrate its superior performance on base HEP estimation under partial information for reliability assessment.

연구 동기 및 목표

• 인간 신뢰성 분석(HRA)에서 전통적인 기본 인간 오류 확률(BHEP) 추정의 시간 소모성 및 전문가 의존성 문제를 해결하기 위해.
• 수동적이고 주관적인 전문가 판단에 대한 의존도를 줄이기 위해 자동화된, LLM 기반의 프레임워크를 도입하기 위해.
• 지식 그래프 기반 검색 증강 및 다중 에이전트 작업 분해를 통해 BHEP 추정의 효율성과 정확도를 향상시키기 위해.
• 핵심 산업 분야인 원자력 에너지 및 믹항공과 같이 고위험 분야의 HRA 전문가들을 위해 확장 가능하고 사용자 친화적인 솔루션을 제공하기 위해.
• 권위 있는 HRA 데이터셋과 실제 사례 연구를 활용하여 프레임워크의 성능을 검증하기 위해.

제안 방법

• 프레임워크는 이중 단계 과정을 활용한다: 첫 번째 단계에서는 다중 에이전트 시스템이 인간 작업을 인지적 구성요소, 맥락, 시간 제약 조건, 오류 측정 기준으로 분해한다.
• 두 번째 단계에서는 LLM이 IDHEAS-DATA 기반 지식 그래프에서 파생된 자연어 표현을 처리하여 BHEP 계산을 위한 누락된 매개변수를 추론한다.
• Neo4j 기반 지식 그래프는 도메인 특화 HRA 데이터를 저장하고 검색하여 오류 발생률 예측을 위한 구조적이고 맥락 인식 가능한 추론을 가능하게 한다.
• 검색 증강 생성(Retrieval-Augmented Generation, RAG) 기법을 사용하여 LLM의 출력을 사실 기반 IDHEAS-DATA에 고정시켜 신뢰성 향상과 환상 감소를 달성한다.
• Gradio 기반 웹 인터페이스를 통해 최종 사용자가 사례 데이터를 입력하고, 작업 분해를 트리거하며 전문가 검토 기능이 내장된 BHEP 추정치를 생성할 수 있다.
• 시스템은 반복적 개선을 지원하여 전문가가 최종 오류 발생률 계산 전에 매개변수를 검토하고 조정할 수 있도록 한다.

Figure 1: IDHEAS-ECA HRA Process [ 3 ]

실험 결과

연구 질문

• RQ1 LLM 기반 프레임워크는 수동 방법 대비 기존의 BHEP 추정에 소요되는 시간을 줄일 수 있는가, 동시에 정확도를 유지하는가?
• RQ2 지식 그래프는 정보가 부족한 상황에서 HRA 매개변수 추정의 검색 및 추론 능력을 얼마나 효과적으로 향상시키는가?
• RQ3 다중 에이전트 작업 분해는 HRA에서 인간 성능 분석의 일관성과 완전성에 얼마나 기여하는가?
• RQ4 IDHEAS-DATA와 LLM의 통합이 전문가 검증 기준과 일치하는 BHEP 추정치를 생성할 수 있는가?
• RQ5 RAG 기반 LLM 접근 방식은 HRA 응용 분야에서 표준 LLM 추론 대비 사실 기반 일관성과 신뢰성 측면에서 어떻게 비교되는가?

주요 결과

• KRAIL 프레임워크는 기본 HEP 추정 시간을 150초 이내로 단축하여 수동 방법 대비 뚜렷한 효율성 향상을 보였다.
• 프레임워크는 부분 정보 상황에서도 높은 정확도를 달성하여 낮은 데이터 상황에서의 강건성을 입증했다.
• 지식 그래프와 LLM의 통합은 검색 정밀도를 향상시켜 환상 감소 및 생성된 매개변수의 사실 기반 정확도 향상에 기여했다.
• 제거 실험(Ablation studies) 결과, 다중 에이전트 분해 및 지식 그래프 구성 요소가 최적 성능 달성에 필수적임을 확인했다.
• 웹 기반 인터페이스를 통해 도메인 전문가가 실시간으로 상호작용하고 결과를 반복적으로 개선하며 전문가 검토를 수행할 수 있도록 지원했다.
• 다양한 HRA 사례 연구에 걸쳐 강력한 일반화 능력을 보이며 고위험 산업 분야에서 넓은 적용 가능성을 입증했다.

Figure 2: KRAIL: A Knowledge-Driven Framework Integrating IDHEAS and Large Language Models for Base Human Reliability Analysis