[논문 리뷰] Automated Interactive Domain-Specific Conversational Agents that Understand Human Dialogs

Yankai Zeng, Abhiramon Rajasekharan외 4명|arXiv (Cornell University)|2023. 03. 15.

Multi-Agent Systems and Negotiation인용 수 5

한 줄 요약

이 논문은 GPT-3를 통한 의미 분석과 s(CASP)를 통한 논리 기반 일반 지식 추론을 조합하여 인간 대화를 이해하는 자동화된, 상호작용식의 도메인 특화 대화형 에이전트인 AutoConcierge를 제시한다. 자연어를 통해 사용자 선호도를 동적으로 유도함으로써 빙 AI보다 레스토랑 추천 작업에서 더 뛰어난 성능을 보이며, 공식적 추론을 통해 정확성과 일관성을 확보한다.

ABSTRACT

Achieving human-like communication with machines remains a classic, challenging topic in the field of Knowledge Representation and Reasoning and Natural Language Processing. These Large Language Models (LLMs) rely on pattern-matching rather than a true understanding of the semantic meaning of a sentence. As a result, they may generate incorrect responses. To generate an assuredly correct response, one has to "understand" the semantics of a sentence. To achieve this "understanding", logic-based (commonsense) reasoning methods such as Answer Set Programming (ASP) are arguably needed. In this paper, we describe the AutoConcierge system that leverages LLMs and ASP to develop a conversational agent that can truly "understand" human dialogs in restricted domains. AutoConcierge is focused on a specific domain-advising users about restaurants in their local area based on their preferences. AutoConcierge will interactively understand a user's utterances, identify the missing information in them, and request the user via a natural language sentence to provide it. Once AutoConcierge has determined that all the information has been received, it computes a restaurant recommendation based on the user-preferences it has acquired from the human user. AutoConcierge is based on our STAR framework developed earlier, which uses GPT-3 to convert human dialogs into predicates that capture the deep structure of the dialog's sentence. These predicates are then input into the goal-directed s(CASP) ASP system for performing commonsense reasoning. To the best of our knowledge, AutoConcierge is the first automated conversational agent that can realistically converse like a human and provide help to humans based on truly understanding human utterances.

연구 동기 및 목표

• 패턴 매칭에 의존하지 않고 인간 대화를 진정으로 이해하는 대화형 에이전트를 개발하는 것.
• 사실 기반, 임무 중심 대화에서 LLM의 한계를 보완하기 위해 정확성과 일관성을 확보하기 위해 논리 기반 추론을 통합하는 것.
• 에이전트가 누락된 정보를 식별하고 자연스럽게 요청할 수 있는 상호작용식, 목표 지향적 대화를 가능하게 하는 것.
• LLM을 자연어 생성 및 의미 분석에, ASP를 신뢰할 수 있는 일반 지식 추론에 사용하는 시스템을 구현하는 것.
• 레스토랑 외의 도메인으로도 확장 가능한, 도메인 특화, 설명 가능하고 신뢰할 수 있는 대화형 에이전트를 구축하기 위한 확장 가능한 프레임워크를 만드는 것.

제안 방법

• 사용자 발언을 자연어로 입력받아 GPT-3를 활용하고, 문맥 기반 학습을 통해 의미를 나타내는 구조화된 논리 술어로 변환한다.
• 목표 지향적 s(CASP) 시스템을 사용하여 생성된 술어에 대해 일반 지식 추론을 수행하고 일관성 여부를 검사하며 누락된 정보를 식별한다.
• 대화 흐름을 안내하고 사용자 선호도 및 추론 상태에 따라 어떤 질문을 해야 할지 결정하기 위해 대화 지식 템플릿을 활용한다.
• GPT-3를 사용하여 ASP로 계산된 응답(논리적 용어로 표현)을 사용자 인터페이스에 적합한 자연어로 다시 변환한다.
• 불완전하거나 일관성이 없는 입력이 감지되면, 누락된 세부 정보를 유도하기 위해 후속 질문을 트리거하는 피드백 루프를 통합한다.
• 실제 레스토랑 데이터 기반 지식 기반을 텍사스 대학교 달라스 캠퍼스에서 확보하여 추천를 구체화한다.

실험 결과

연구 질문

• RQ1 패턴 매칭에 의존하지 않고, 대화형 에이전트가 자연어에서 사용자 선호도를 동적으로 이해하고 추론할 수 있는가?
• RQ2 LLM과 논리 기반 추론을 어떻게 통합하여 임무 중심 대화에서 정확성과 일관성을 확보할 수 있는가?
• RQ3 자동화된 시스템이 인간과 유사한 대화 방식으로 자연어 질문을 통해 누락된 정보를 효과적으로 유도할 수 있는가?
• RQ4 이러한 시스템은 사실 기반 작업에서 최신 LLM 기반 챗봇과 비교해 신뢰성과 설명 가능성이 높은가?
• RQ5 STAR 프레임워크는 어떻게 확장되어 공식적 추론 기반의 자동화된 도메인 특화 대화형 에이전트를 구축하는 데 활용될 수 있는가?

주요 결과

• AutoConcierge는 문맥 기반 학습을 활용한 GPT-3를 통해 사용자 발언을 공식 술어로 번역함으로써 사용자 발언을 성공적으로 이해한다.
• s(CASP)의 통합을 통해 시스템은 일관성 오류를 탐지하고 누락된 정보를 식별하며 안정적인 일반 지식 추론을 수행할 수 있다.
• AutoConcierge는 레스토랑 추천 작업에서 빙 AI를 능가하며, 더 뛰어난 신뢰성과 정확성을 입증한다.
• 이중 단계의 GPT-3 활용을 통해 맥락에 부합하고 논리적으로 일관된 자연어 응답을 생성한다.
• 에이전트가 사용자 선호도를 정밀하게 보완하기 위해 후속 질문을 요청할 수 있는 상호작용식, 상태 기반 대화를 지원하는 아키텍처를 구현한다.
• 향후 작업에서 자동 은행원, 수신원, 소셜봇 등 다른 도메인으로도 확장 가능함을 입증하였다.