[논문 리뷰] Hallucination Mitigation using Agentic AI Natural Language-Based Frameworks

Diego Gosmar, Deborah A. Dahl|ArXiv.org|2025. 01. 19.

Mental Health Research Topics인용 수 3

한 줄 요약

이 논문은 OVON 프레임워크를 사용한 다중 에이전트 NLP 기반 워크플로를 제시하여 LLM 출력에서 환각을 세 reviewer 수준에서 탐지, 표시 및 정제하고 환각 점수를 감소시키는 것을 달성합니다.

ABSTRACT

Hallucinations remain a significant challenge in current Generative AI models, undermining trust in AI systems and their reliability. This study investigates how orchestrating multiple specialized Artificial Intelligent Agents can help mitigate such hallucinations, with a focus on systems leveraging Natural Language Processing (NLP) to facilitate seamless agent interactions. To achieve this, we design a pipeline that introduces over three hundred prompts, purposefully crafted to induce hallucinations, into a front-end agent. The outputs are then systematically reviewed and refined by second- and third-level agents, each employing distinct large language models and tailored strategies to detect unverified claims, incorporate explicit disclaimers, and clarify speculative content. Additionally, we introduce a set of novel Key Performance Indicators (KPIs) specifically designed to evaluate hallucination score levels. A dedicated fourth-level AI agent is employed to evaluate these KPIs, providing detailed assessments and ensuring accurate quantification of shifts in hallucination-related behaviors. A core component of this investigation is the use of the OVON (Open Voice Network) framework, which relies on universal NLP-based interfaces to transfer contextual information among agents. Through structured JSON messages, each agent communicates its assessment of the hallucination likelihood and the reasons underlying questionable content, thereby enabling the subsequent stage to refine the text without losing context. The results demonstrate that employing multiple specialized agents capable of interoperating with each other through NLP-based agentic frameworks can yield promising outcomes in hallucination mitigation, ultimately bolstering trust within the AI community.

연구 동기 및 목표

• Generative AI LLMs의 환각 문제를 다루는 것.
• 전문 심사관을 통해 출력물을 반복적으로 정제하는 다중 에이전트 파이프라인을 제안한다.
• 환각 완화와 설명 가능성을 정량화하기 위한 새로운 KPI를 도입한다.

제안 방법

• 앞단 에이전트에 환각을 유도하도록 설계된 310개의 프롬트를 주입한다.
• OVON JSON 메시지를 통해 2단계 및 3단계 에이전트(GPT-4o 포함)가 환각을 탐지하고, 부인하고, 주장들을 정제한다.
• 네 번째 에이전트를 활용하여 KPI를 평가하고 환각 시프트를 정량화한다(THS).
• OVON의 Conversation Envelopes(utterance 및 whisper events)를 통해 에이전트 간 의사소통을 촉진한다.
• 반복적 개선을 위한 Autogen 기반의 에이전트형 프레임워크를 바탕으로 조정을 수행한다.

Figure 1: Multi-Agent Scenario for Hallucination Mitigation Evaluation

실험 결과

연구 질문

• RQ1 다중 에이전트 NLP 기반 프레임워크가 LLM 출력의 환각 가능성을 감소시킬 수 있는가?
• RQ2 OVON 기반 에이전트 간 커뮤니케이션이 정보 흐름 및 정제에 어떤 영향을 미치는가?
• RQ3 사실성, 근거 제시, 허구 콘텐츠의 명시적 신호화를 정량화하는 데 어떤 KPI가 가장 적합한가?
• RQ4 3단계 심사는 2단계 심사보다 사실성 및 면책 효과를 더 개선하는가?

주요 결과

• 다중 에이전트 파이프라인이 프런트엔드 → 2단계 심사 → 3단계 심사로 진행될수록 환각 점수를 점진적으로 낮춘다.
• 새로운 KPI(Factual Claim Density, Factual Grounding References, Fictional Disclaimer Frequency, Explicit Contextualization Score)가 환각 완화를 효과적으로 정량화한다.
• 전용 네 번째 에이전트가 KPI 시프트 및 총 환각 점수(THS)의 정량적 평가를 제공할 수 있다.
• OVON 기반 JSON 메시징은 맥락을 보존하면서 에이전트 간 타깃 정제를 가능하게 하여 설명 가능성과 신뢰성을 향상시킨다.

Figure 2: THS results over 310 prompts with 3 agents