[논문 리뷰] Automating Customer Service using LangChain: Building custom open-source GPT Chatbot for organizations

Keivalya Pandya, Mehfuza S. Holia|arXiv (Cornell University)|2023. 10. 09.

AI in Service Interactions인용 수 32

한 줄 요약

본 논문은 LangChain으로 구축된 오픈소스 GPT 챗봇 Sahaay를 기업 고객 서비스를 위해 제시하며, 웹 스크래핑, 임베딩 및 다중 LLM의 미세 조정을 활용하여 실시간의 맥락 인지형 지원을 가능하게 한다. 또한 FAQ를 넘어 산업 전반에 걸쳐 개인화되고 확장 가능한 상호 작용으로의 전환을 주장하며, 구현 세부 정보와 교육 환경에서의 사용 사례를 제시한다.

ABSTRACT

In the digital age, the dynamics of customer service are evolving, driven by technological advancements and the integration of Large Language Models (LLMs). This research paper introduces a groundbreaking approach to automating customer service using LangChain, a custom LLM tailored for organizations. The paper explores the obsolescence of traditional customer support techniques, particularly Frequently Asked Questions (FAQs), and proposes a paradigm shift towards responsive, context-aware, and personalized customer interactions. The heart of this innovation lies in the fusion of open-source methodologies, web scraping, fine-tuning, and the seamless integration of LangChain into customer service platforms. This open-source state-of-the-art framework, presented as "Sahaay," demonstrates the ability to scale across industries and organizations, offering real-time support and query resolution. Key elements of this research encompass data collection via web scraping, the role of embeddings, the utilization of Google's Flan T5 XXL, Base and Small language models for knowledge retrieval, and the integration of the chatbot into customer service platforms. The results section provides insights into their performance and use cases, here particularly within an educational institution. This research heralds a new era in customer service, where technology is harnessed to create efficient, personalized, and responsive interactions. Sahaay, powered by LangChain, redefines the customer-company relationship, elevating customer retention, value extraction, and brand image. As organizations embrace LLMs, customer service becomes a dynamic and customer-centric ecosystem.

연구 동기 및 목표

• 전통적인 FAQ 기반 고객 서비스에서 반응적이고 맥락 인지적인 상호 작용으로의 전환을 촉구한다.
• LangChain을 사용하여 산업 전반에 걸쳐 확장 가능한 오픈 소스 프레임워크(Sahaay)를 제안한다.
• 조직 사용을 위한 데이터 수집, 지식 검색, 모델 통합 기법을 설명한다.
• 교육 기관의 활용 사례를 통해 접근 방식을 시연한다.

제안 방법

• 조직 지식 베이스를 구축하기 위한 웹 스크래핑을 통한 데이터 수집.
• 지식 검색 및 질의 이해를 위한 임베딩의 사용.
• LangChain 기반 파이프라인 내에서 Google's Flan T5 XXL, Base, 및 Small 언어 모델의 통합.
• 실시간 지원 및 질의 해결을 위한 Sahaay라는 오픈 소스 프레임워크 개발.
• 플랫폼 전반에 걸쳐 사용자 정의 가능한 챗봇을 배포하기 위한 오픈 소스 도구를 결합한 시스템 아키텍처.

실험 결과

연구 질문

• RQ1 LangChain 기반의 오픈 소스 프레임워크가 조직에 대해 실시간의 맥락 인지형 고객 지원을 제공할 수 있는가?
• RQ2 기업용 챗봇의 지식 검색에 있어 임베딩과 다중 LLM 구성(Flan T5 XXL, Base, Small)의 효과는 어느 정도인가?
• RQ3 맞춤형 GPT 챗봇이 고객 유지, 가치 추출 및 브랜드 이미지에 미치는 영향은 무엇인가?
• RQ4 웹 스크래핑 데이터를 조직의 FAQ 및 지원 문의에 대한 신뢰할 수 있는 지식 소스로 어떻게 전환할 수 있는가?

주요 결과

• Sahaay는 조직 사용을 위한 오픈 소스 LangChain 기반 챗봇의 실현 가능성을 보여준다.
• 이 방법은 웹 스크래핑과 임베딩을 활용하여 지식 검색 및 개인화된 응답을 지원한다.
• 교육 기관 활용 사례는 실시간 질의 해결 및 고객 응대 맥락에서의 잠재적 이점을 보여준다.
• 이 프레임워크는 LangChain 기반 챗봇이 고객 유지 및 브랜드 인식 향상에 기여하도록 위치시킨다.