[論文レビュー] KRAIL: A Knowledge-Driven Framework for Base Human Reliability Analysis Integrating IDHEAS and Large Language Models

Xingyu Xiao, Peng Chen+5 more|arXiv (Cornell University)|Dec 20, 2024

Risk and Safety AnalysisDecision Sciences被引用数 3

ひとこと要約

本論文では、知識駆動型で二段階の枠組みであるKRAILを提案する。この枠組みは、IDHEAS-DATAと大規模言語モデル（LLMs）および知識グラフを統合し、半自動的な基本人的誤差確率（BHEP）推定を可能にする。複数エージェントによるタスク分解とNeo4j知識グラフを用いたリtrieval増強生成を活用することで、KRAILはBHEP推定時間を150秒未塔に短縮しながら高い正確性を維持し、手作業のHRA手法に対するスケーラブルで専門家によるインプットを含む代替手法を提供する。

ABSTRACT

Human reliability analysis (HRA) is crucial for evaluating and improving the safety of complex systems. Recent efforts have focused on estimating human error probability (HEP), but existing methods often rely heavily on expert knowledge,which can be subjective and time-consuming. Inspired by the success of large language models (LLMs) in natural language processing, this paper introduces a novel two-stage framework for knowledge-driven reliability analysis, integrating IDHEAS and LLMs (KRAIL). This innovative framework enables the semi-automated computation of base HEP values. Additionally, knowledge graphs are utilized as a form of retrieval-augmented generation (RAG) for enhancing the framework' s capability to retrieve and process relevant data efficiently. Experiments are systematically conducted and evaluated on authoritative datasets of human reliability. The experimental results of the proposed methodology demonstrate its superior performance on base HEP estimation under partial information for reliability assessment.

研究の動機と目的

• 人的信頼性分析（HRA）における従来の基本人的誤差確率（BHEP）推定の時間的・専門家依存性を是正すること。
• 手作業による主観的専門家判断に依存するBHEP計算を、自動化されLLMを活用したフレームワークによって低減すること。
• 知識グラフを用いたリtrieval増強と複数エージェントによるタスク分解により、BHEP推定の効率性と正確性を向上させること。
• 特に原子力エネルギーおよび航空業界を含むハイリスク産業において、HRA実務者にスケーラブルで使いやすいソリューションを提供すること。
• 権威あるHRAデータセットと実世界の事例研究を用いて、フレームワークの性能を検証すること。

提案手法

• フレームワークは二段階のプロセスを採用する。まず、複数エージェントシステムが人間のタスクを認知的要因、文脈、時間的制約、誤差指標に分解する。
• 第二に、LLMがIDHEAS-DATAを基盤とする知識グラフから得られる自然言語表現を処理し、BHEP計算に必要な欠落パラメータを推定する。
• Neo4jベースの知識グラフがドメイン固有のHRAデータを格納・取得し、誤差率予測のための構造的で文脈に配慮した推論を可能にする。
• リtrieval増強生成（RAG）技術を用いて、LLMの出力を事実に根拠づけ、信頼性を高め、幻覚を低減する。
• GradioベースのWebインターフェースにより、エンドユーザーが事例データを入力し、タスク分解をトリガーし、専門家レビュー機能を備えたBHEP推定を生成できる。
• 繰り返しの最適化が可能で、専門家が最終的な誤差率計算の前にパラメータの検証と調整が行える。

Figure 1: IDHEAS-ECA HRA Process [ 3 ]

実験結果

リサーチクエスチョン

• RQ1 LLMベースのフレームワークは、従来の手作業手法と比較して、BHEP推定に要する時間を短縮しつつ正確性を維持できるか。
• RQ2 知識グラフは、情報が少ない状況におけるHRAパラメータ推定のリtrievalと推論をどの程度効果的に向上させられるか。
• RQ3 複数エージェントによるタスク分解は、HRAにおける人間のパフォーマンス分析の一貫性と完全性をどの程度向上させるか。
• RQ4 IDHEAS-DATAとLLMを統合することで、専門家が検証したベンチマークと整合するBHEP推定が得られるか。
• RQ5 RAGを強化したLLMアプローチは、標準的なLLM推論と比較して、HRA用途における事実の整合性と信頼性の面で優れているか。

主な発見

• KRAILフレームワークは、BHEP推定時間を150秒未塔に短縮し、手作業手法と比較して著しく効率性が向上した。
• 部分的な情報下でも高い正確性を達成し、低データ状況下での頑健性を示した。
• LLMと知識グラフの統合により、リtrievalの正確性が向上し、幻覚が低減され、生成されたパラメータの事実に基づいた根拠が強化された。
• アブレーションスタディにより、複数エージェントによる分解と知識グラフの両方が最適なパフォーマンスを発揮するために不可欠であることが確認された。
• Webベースのインターフェースにより、ドメイン専門家による実用的でインタラクティブな利用が可能となり、繰り返しの最適化と結果の専門家による検証を支援した。
• 多様なHRA事例研究にわたる汎用性が示され、ハイリスク産業における広範な適用可能性を示した。

Figure 2: KRAIL: A Knowledge-Driven Framework Integrating IDHEAS and Large Language Models for Base Human Reliability Analysis