[논문 리뷰] Exploring the Potential of Large Language Models for Automation in Technical Customer Service

Jochen Wulf, Juerg Meierhofer|arXiv (Cornell University)|2024. 05. 15.

Technology and Data Analysis인용 수 4

한 줄 요약

이 연구는 대규모 언어 모델(Large Language Models, LLMs)를 활용한 기술 고객 서비스에서 인지 작업의 자동화를 조사한다. GPT-4와 같은 모델을 사용해 번역 및 요약과 같은 저수준 작업은 효과적으로 자동화할 수 있음을 입증하였고, 고수준 추론 작업은 Retrieval-Augmented Generation(RAG) 또는 파라미터 미세조정(fine-tuning)과 같은 고급 기법이 필요하다는 것을 밝혔다. 연구는 서비스 조직 내에서 복잡한 LLM 응용을 가능하게 하는 데이터 생태계의 핵심적 역할을 강조한다.

ABSTRACT

Purpose: The purpose of this study is to investigate the potential of Large Language Models (LLMs) in transforming technical customer service (TCS) through the automation of cognitive tasks. Design/Methodology/Approach: Using a prototyping approach, the research assesses the feasibility of automating cognitive tasks in TCS with LLMs, employing real-world technical incident data from a Swiss telecommunications operator. Findings: Lower-level cognitive tasks such as translation, summarization, and content generation can be effectively automated with LLMs like GPT-4, while higher-level tasks such as reasoning require more advanced technological approaches such as Retrieval-Augmented Generation (RAG) or finetuning ; furthermore, the study underscores the significance of data ecosystems in enabling more complex cognitive tasks by fostering data sharing among various actors involved. Originality/Value: This study contributes to the emerging theory on LLM potential and technical feasibility in service management, providing concrete insights for operators of TCS units and highlighting the need for further research to address limitations and validate the applicability of LLMs across different domains.

연구 동기 및 목표

• LLM을 활용한 기술 고객 서비스의 인지 작업 자동화 가능성 평가
• 스위스 통신사에서 제공한 실제 기술 장애 데이터를 기반으로 LLM의 성능 평가
• 사전 구현된 LLM으로 자동화 가능한 인지 작업과 RAG 또는 파라미터 미세조정과 같은 고급 기법이 필요한 작업 식별
• LLM 기반 서비스 자동화를 위한 복잡한 응용을 가능하게 하는 데이터 생태계의 역할 분석
• 기술 지원 분야에서 LLM 응용에 대한 서비스 관리 및 향후 연구에 기여할 실용적이고 이론적인 통찰 제공

제안 방법

• 스위스 통신사에서 제공한 실제 기술 장애 데이터를 기반으로 LLM 기반 자동화를 구현하고 테스트하기 위해 프로토타이핑 접근법을 사용하였다.
• GPT-4 및 유사한 LLM을 활용해 번역, 요약, 콘텐츠 생성과 같은 저수준 인지 작업을 평가하였다.
• 고수준 추론 작업은 사실적 정확성과 맥락 기반 추론을 향상시키기 위해 Retrieval-Augmented Generation(RAG) 및 파라미터 미세조정 기법을 사용해 테스트하였다.
• 서비스 환경에서 LLM 기반 자동화의 성능과 확장성에 영향을 주는 데이터 공유 및 데이터 생태계의 영향을 분석하였다.
• 품질, 관련성, 정확성 측면에서 LLM 출력 결과를 인간이 생성한 기준과 비교하여 평가하였다.

실험 결과

연구 질문

• RQ1 사전 구현된 LLM은 기술 고객 서비스의 번역, 요약, 콘텐츠 생성과 같은 저수준 인지 작업을 어느 정도 자동화할 수 있는가?
• RQ2 표준 LLM은 기술 지원 시나리오에서 고수준 추론 작업을 처리하는 데 어떤 한계를 지니는가?
• RQ3 RAG 및 파라미터 미세조정과 같은 고급 기법은 복잡한 추론 작업에서 LLM의 성능을 어떻게 향상시키는가?
• RQ4 데이터 생태계와 데이터 공유는 기술 고객 서비스에서 효과적인 LLM 기반 자동화를 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 실제 기술 장애 사례에서 LLM이 생성한 응답은 인간이 생성한 응답과 정확성과 관련성 측면에서 어떻게 비교되는가?

주요 결과

• 번역, 요약, 콘텐츠 생성과 같은 저수준 인지 작업은 GPT-4와 같은 표준 LLM을 사용해 높은 정확도와 관련성으로 효과적으로 자동화할 수 있다.
• 복잡한 기술 문제 진단과 같은 고수준 추론 작업은 RAG 또는 파라미터 미세조정과 같은 고급 기법이 필요로 하여 만족스러운 성능을 달성할 수 있다.
• RAG를 통한 외부 지식 검색 통합은 추론 작업에서 사실의 일관성과 맥락 정확성을 크게 향상시킨다.
• 서비스 참여자 간의 데이터 공유를 가능하게 하는 데이터 생태계는 기술 고객 서비스에서 LLM 기반 자동화의 확장성과 기능 향상에 필수적이다.
• 이 연구는 LLM이 특히 구조화된 데이터 접근 및 검색 메커니즘과 결합될 경우 기술 서비스 워크플로에서 수동 작업을 크게 줄일 수 있음을 확인하였다.