[論文レビュー] Hallucination Mitigation using Agentic AI Natural Language-Based Frameworks

Diego Gosmar, Deborah A. Dahl|ArXiv.org|Jan 19, 2025

Mental Health Research Topics被引用数 3

ひとこと要約

この論文は、OVONフレームワークを用いたマルチエージェントのNLPベース ワークフローを提案し、LLM出力における幻覚を検出・マーク付け・精練し、3つのレビュワーレベルで幻覚スコアを低減することを実現します。

ABSTRACT

Hallucinations remain a significant challenge in current Generative AI models, undermining trust in AI systems and their reliability. This study investigates how orchestrating multiple specialized Artificial Intelligent Agents can help mitigate such hallucinations, with a focus on systems leveraging Natural Language Processing (NLP) to facilitate seamless agent interactions. To achieve this, we design a pipeline that introduces over three hundred prompts, purposefully crafted to induce hallucinations, into a front-end agent. The outputs are then systematically reviewed and refined by second- and third-level agents, each employing distinct large language models and tailored strategies to detect unverified claims, incorporate explicit disclaimers, and clarify speculative content. Additionally, we introduce a set of novel Key Performance Indicators (KPIs) specifically designed to evaluate hallucination score levels. A dedicated fourth-level AI agent is employed to evaluate these KPIs, providing detailed assessments and ensuring accurate quantification of shifts in hallucination-related behaviors. A core component of this investigation is the use of the OVON (Open Voice Network) framework, which relies on universal NLP-based interfaces to transfer contextual information among agents. Through structured JSON messages, each agent communicates its assessment of the hallucination likelihood and the reasons underlying questionable content, thereby enabling the subsequent stage to refine the text without losing context. The results demonstrate that employing multiple specialized agents capable of interoperating with each other through NLP-based agentic frameworks can yield promising outcomes in hallucination mitigation, ultimately bolstering trust within the AI community.

研究の動機と目的

• Generative AI LLMsにおける幻覚の課題に対処する。
• 専門のレビュアーを用いた出力を反復的に精練するマルチエージェントパイプラインを提案する。
• 幻覚緩和と説明可能性を定量化する新しいKPIを導入する。

提案手法

• 幻覚を誘発するよう設計された310のプロンプトをフロントエージェントに注入する。
• 2次および3次レベルのエージェント（GPT-4oを搭載）を使用して、OVON JSONメッセージを介して主張を検出・免責・精練する。
• KPIを評価し幻覚の変化を定量化する4番目のエージェントを活用する（THS）。
• OVONのConversation Envelopes（ utteranceとwhisper events）を介してエージェント間のコミュニケーションを促進する。
• 反復的改善のためのAutogenベースのエージェント系フレームワークを基盤とする。

Figure 1: Multi-Agent Scenario for Hallucination Mitigation Evaluation

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント/NLPベースのフレームワークはLLM出力の幻覚可能性を低減できるか。
• RQ2 OVONベースのエージェント間通信は情報フローと精練にどのような影響を与えるか。
• RQ3 事実性、グラウンディング、虚構コンテンツの明示的信号付けを定量化する最良のKPIは何か。
• RQ4 3次レビュワーは2次レビュワーを超えて事実性と免責の有効性をさらに向上させるか。

主な発見

• マルチエージェントパイプラインは、フロントエンド → 2次レビュワー → 3次レビュワーの各段階で幻覚スコアを段階的に低下させる。
• 新しいKPI（Factual Claim Density、Factual Grounding References、Fictional Disclaimer Frequency、Explicit Contextualization Score）は幻覚緩和を効果的に定量化する。
• 専用の4番目のエージェントがKPIの変化と総幻覚スコア（THS）を定量評価できる。
• OVONベースのJSONメッセージは文脈を保持しつつ、エージェント間のターゲットを絞った精練を可能にし、説明可能性と信頼性を向上させる。

Figure 2: THS results over 310 prompts with 3 agents