[논문 리뷰] Enhancing Pipeline-Based Conversational Agents with Large Language Models

Mina Foosherian, H.‐G. Purwins외 4명|arXiv (Cornell University)|2023. 09. 07.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 GPT-4와 같은 대규모 언어모델(LLM)을 사용하여 파ip라인 기반 대화형 에이전트의 개발 및 런타임 능력을 향상시키기 위한 하이브리드 접근법을 제안한다. 이는 기존 시스템을 대체하지 않고도 성능을 향상시키며, 기밀성과 시스템 통합을 유지한다. LLM이 훈련 데이터 생성, 엔티티 및 동의어 추출, 맥락 이해, 입력 자동 수정, 스타일이 다양한 응답 생성, 그리고 닫힘 도메인 질의 응답 및 대화 요약 기능을 수행할 수 있음을 입증하며, 에이전트 성능을 향상시키고도 기밀성을 유지한다.

ABSTRACT

The latest advancements in AI and deep learning have led to a breakthrough in large language model (LLM)-based agents such as GPT-4. However, many commercial conversational agent development tools are pipeline-based and have limitations in holding a human-like conversation. This paper investigates the capabilities of LLMs to enhance pipeline-based conversational agents during two phases: 1) in the design and development phase and 2) during operations. In 1) LLMs can aid in generating training data, extracting entities and synonyms, localization, and persona design. In 2) LLMs can assist in contextualization, intent classification to prevent conversational breakdown and handle out-of-scope questions, auto-correcting utterances, rephrasing responses, formulating disambiguation questions, summarization, and enabling closed question-answering capabilities. We conducted informal experiments with GPT-4 in the private banking domain to demonstrate the scenarios above with a practical example. Companies may be hesitant to replace their pipeline-based agents with LLMs entirely due to privacy concerns and the need for deep integration within their existing ecosystems. A hybrid approach in which LLMs' are integrated into the pipeline-based agents allows them to save time and costs of building and running agents by capitalizing on the capabilities of LLMs while retaining the integration and privacy safeguards of their existing systems.

연구 동기 및 목표

• 파이프라인 기반 대화형 에이전트가 인간과 유사한 대화를 수행하는 데에 한계를 보이는 맥락 이해 및 응답 다양성 측면을 해결하기 위해.
• LLM이 기존 파이프라인 아키텍처에 통합되어 시스템 전체를 대체하지 않고도 개발 효율성과 운영 성능을 향상시킬 수 있는 방법을 탐색하기 위해.
• LLM을 사용하여 훈련 데이터 생성, 엔티티 추출, 성격 설정, 런타임 기능(예: 자동 수정 및 요약)에 대한 실현 가능성과 이점을 평가하기 위해.
• 기존 대화형 에이전트 파이프라인 내에서 LLM을 보완 요소로 활용함으로써 종단 간 LLM 기반 에이전트의 실용적이고 기밀성을 유지하는 대안을 제공하기 위해.

제안 방법

• GPT-4를 사용하여 비밀은행 분야의 의도 분류 및 엔티티 인식을 위한 합성 훈련 데이터를 생성한다.
• LLM을 활용해 도메인 전문 엔티티 및 동의어를 추출하고, 에이전트 성격과 현지화 설정을 정의한다.
• 런타임에 LLM을 통합하여 사용자 발화를 자동 수정하고, 응답을 재작성하며, 모호성 제거 질문을 생성한다.
• LLM을 적용해 맥락화를 수행하고, 범위를 초월한 질문을 처리하며, 사전 정의된 답변을 사용한 닫힘 도메인 질의 응답 기능을 제공한다.
• 지속 중인 대화를 요약하여 인간 에이전트로의 인수인계 또는 확인 단계를 지원하기 위해 LLM을 사용한다.
• 다양한 사용 사례에서 GPT-4를 활용한 비공식 실험을 수행하여 하이브리드 향상 접근법의 타당성을 검증한다.

Figure 1: Architecture of a pipeline-based CA. Based on Harms et al. ( 2019 ); Brabra et al. ( 2022 )

실험 결과

연구 질문

• RQ1 LLM은 파이프라인 기반 대화형 에이전트의 개발 단계에서 훈련 데이터 생성 및 엔티티 추출 측면에서 어떻게 향상시킬 수 있는가?
• RQ2 LLM은 맥락 이해, 응답 다양성, 범위를 초월한 질문 처리와 같은 런타임 기능을 어느 정도 향상시킬 수 있는가?
• RQ3 LLM은 기존 파이프라인 아키텍처에 전체 시스템 이관 없이도 효과적으로 통합될 수 있는가? 이 과정에서 기밀성은 유지되는가?
• RQ4 생산용 에이전트에서 닫힘 도메인 질의 응답 및 대화 요약에 LLM을 사용할 경우 실질적인 이점은 무엇인가?
• RQ5 기존 대화형 에이전트 시스템의 유지보수성과 확장성에 대해 LLM의 하이브리드 통합은 어떤 영향을 미치는가?

주요 결과

• LLM은 훈련 데이터 생성을 크게 향상시켜 비밀은행 분야에서 더 빠르고 정확한 의도 분류 및 엔티티 추출을 가능하게 했다.
• GPT-4는 오해의 발화에 대해 10가지 스타일이 다른 사과 어조의 재작성 버전을 성공적으로 생성하여 효과적인 응답 개인화 및 톤 제어 능력을 입증했다.
• 닫힘 도메인 질의 응답 작업에서 5/5 정확도를 기록하여 사전 정의된 답변에 제한된 조건에서 매우 높은 신뢰성을 보였다.
• LLM 기반 대화 요약은 요구 형식에 맞는 간결하고 실행 가능한 요약을 생성하여 인간 에이전트로의 원활한 인수인계를 지원했다.
• 하이브리드 접근법은 사용자 입력의 자동 수정 및 범위를 초월한 질문의 효과적 처리를 가능하게 하여 대화의 단절을 줄였다.
• 기존 파이프라인 시스템에 LLM을 통합함으로써 데이터 기밀성과 시스템 안정성을 유지하면서도 에이전트의 기능을 향상시켰다.