[논문 리뷰] A Complete Survey on LLM-based AI Chatbots

Sumit Kumar Dam, Choong Seon Hong외 2명|arXiv (Cornell University)|2024. 06. 17.

FinTech, Crowdfunding, Digital Finance인용 수 18

한 줄 요약

이 설문조사는 섹터 전반에서 LLM 기반 챗봇의 진화, 응용, 도전 과제 및 향후 방향을 data/tools, governance, reliability에 중점을 두고 포괄적으로 검토합니다.

ABSTRACT

The past few decades have witnessed an upsurge in data, forming the foundation for data-hungry, learning-based AI technology. Conversational agents, often referred to as AI chatbots, rely heavily on such data to train large language models (LLMs) and generate new content (knowledge) in response to user prompts. With the advent of OpenAI's ChatGPT, LLM-based chatbots have set new standards in the AI community. This paper presents a complete survey of the evolution and deployment of LLM-based chatbots in various sectors. We first summarize the development of foundational chatbots, followed by the evolution of LLMs, and then provide an overview of LLM-based chatbots currently in use and those in the development phase. Recognizing AI chatbots as tools for generating new knowledge, we explore their diverse applications across various industries. We then discuss the open challenges, considering how the data used to train the LLMs and the misuse of the generated knowledge can cause several issues. Finally, we explore the future outlook to augment their efficiency and reliability in numerous applications. By addressing key milestones and the present-day context of LLM-based chatbots, our survey invites readers to delve deeper into this realm, reflecting on how their next generation will reshape conversational AI.

연구 동기 및 목표

• 사전 LLM 챗봇에서 현대 LLM 기반 챗봇에 이르는 역사적 진화를 추적한다
• ChatGPT를 넘어서는 현재 및 개발 중인 LLM 기반 챗봇을 목록화하고 범주화한다
• 교육, 연구, 헬스케어, 소프트웨어 엔지니어링, 금융 전반에 걸친 LLM 기반 챗봇의 응용을 분석한다
• 데이터, 지식 생성, 배포와 관련된 기술적 및 윤리적 도전 과제를 식별한다
• 효율성, 신뢰성 및 책임 있는 사용을 향상시키기 위한 향후 방향을 논의한다

제안 방법

• 기저 챗봇 역사와 LLM 아키텍처를 검토하고 합성한다
• 기능성 및 부문별로 LLM 기반 챗봇의 분류 체계를 제시한다
• 트랜스포머 아키텍처, in-context learning, chain-of-thought prompting 등의 기술적 개념을 요약한다
• 데이터 투명성, 편향성, 프라이버시 및 잘못된 정보 확산을 포함한 한계와 오용 우려를 분석한다
• 모델 최적화 및 윤리적 가이드라인에 대한 향후 전망 권고안을 제시한다

실험 결과

연구 질문

• RQ1 초기 시스템에서 LLM 기반 변형으로 챗봇이 어떻게 진화했고 이 변화를 가능하게 한 기본적인 LLM 진전은 무엇인가?
• RQ2 부문별 LLM 기반 챗봇의 주요 응용은 무엇이며 이것이 운영 및 사용자 상호작용에 어떤 영향을 미치는가?
• RQ3 성능, 신뢰성 및 안전한 배치에 영향을 주는 도전 과제는 무엇인가?
• RQ4 책임 있는 사용과 거버넌스를 보장하기 위해 어떤 기술적 개선 및 윤리적 가이드라인이 필요한가?

주요 결과

• LLMs 및 트랜스포머 기반 아키텍처가 더 풍부하고 맥락 인식적인 대화 능력과 새로운 작업을 위한 in-context learning으로의 전환을 주도했다
• 교육, 연구, 헬스케어, 소프트웨어 엔지니어링, 금융에 걸친 챗봇 응용의 광범위한 분류 체계가 제공된다
• 본 조사는 단일 모델을 넘어 다수의 챗봇(ChatGPT, BARD/Gemini, Bing Chat, Claude, Ernie Bot, BlenderBot, 및 기타)을 다룬다
• 주요 도전 과제로 지식 최신성, 환각, 데이터 투명성, 편향, 프라이버시, 오용 위험이 식별된다
• 챗봇을 통한 지식 생성의 잠재적 이득과 위험을 강조하고 윤리 가이드라인과 책임 있는 배치를 촉구한다