[論文レビュー] Exploring the Potential of Large Language Models for Automation in Technical Customer Service

Jochen Wulf, Juerg Meierhofer|arXiv (Cornell University)|May 15, 2024

Technology and Data Analysis被引用数 4

ひとこと要約

本研究では、大規模言語モデル（LLMs）を用いた技術的カスタマーサービスにおける認知的タスクの自動化を調査しており、翻訳や要約といった低レベルのタスクはGPT-4などのモデルを用いて効果的に自動化可能であることが示されている一方、高レベルの推論にはリtrieval-Augmented Generation（RAG）やファインチューニングといった高度な技術が不可欠である。研究では、サービス組織全体にわたり複雑なLLMアプリケーションを可能にするデータエコシステムの重要性が強調されている。

ABSTRACT

Purpose: The purpose of this study is to investigate the potential of Large Language Models (LLMs) in transforming technical customer service (TCS) through the automation of cognitive tasks. Design/Methodology/Approach: Using a prototyping approach, the research assesses the feasibility of automating cognitive tasks in TCS with LLMs, employing real-world technical incident data from a Swiss telecommunications operator. Findings: Lower-level cognitive tasks such as translation, summarization, and content generation can be effectively automated with LLMs like GPT-4, while higher-level tasks such as reasoning require more advanced technological approaches such as Retrieval-Augmented Generation (RAG) or finetuning ; furthermore, the study underscores the significance of data ecosystems in enabling more complex cognitive tasks by fostering data sharing among various actors involved. Originality/Value: This study contributes to the emerging theory on LLM potential and technical feasibility in service management, providing concrete insights for operators of TCS units and highlighting the need for further research to address limitations and validate the applicability of LLMs across different domains.

研究の動機と目的

• LLMsを用いた技術的カスタマーサービスにおける認知的タスクの自動化可能性を評価すること。
• スイスの通信事業者から得た実際の技術的障害データに対してLLMsのパフォーマンスを評価すること。
• 市販のLLMsで自動化可能な認知的タスクと、RAGやファインチューニングといった高度な手法を要するタスクを特定すること。
• データエコシステムとデータ共有が、より複雑なLLM駆動のサービス自動化を可能にする役割を調査すること。
• サービス管理および技術的サポート分野におけるLLM応用に関する今後の研究に向けた実務的・理論的知見を提供すること。

提案手法

• 本研究では、スイスの通信事業者から得た実際の技術的障害データを対象に、LLMベースの自動化を実装・テストするためのプロトタイピング手法を採用した。
• 翻訳、要約、コンテンツ生成といった低レベルの認知的タスクは、GPT-4や類似するLLMsを用いて評価した。
• 高レベルの推論タスクは、事実の正確性と文脈的推論を向上させるために、リtrieval-Augmented Generation（RAG）およびファインチューニング技術を用いてテストした。
• 本研究では、データ共有およびデータエコシステムが、サービス文脈におけるLLMベースの自動化のパフォーマンスとスケーラビリティに与える影響を分析した。
• LLMの出力結果を人間が生成したベンチマークと比較することで、品質、関連性、正確性を評価した。

実験結果

リサーチクエスチョン

• RQ1 市販のLLMsは、技術的カスタマーサービスにおける翻訳、要約、コンテンツ生成といった低レベルの認知的タスクをどの程度自動化できるか。
• RQ2 標準的なLLMsが、技術的サポートの場面における高レベルの推論タスクを処理する際に直面する制限とは何か。
• RQ3 RAGやファインチューニングといった高度な技術は、複雑な推論タスクにおけるLLMsのパフォーマンスをどのように向上させるか。
• RQ4 データエコシステムとデータ共有は、技術的カスタマーサービスにおける効果的なLLMベースの自動化を実現するために果たす役割は何か。
• RQ5 実際の技術的障害事例において、LLMが出力する回答と人間が生成した回答との間で、正確性と関連性の面でどのような差異があるか。

主な発見

• 翻訳、要約、コンテンツ生成といった低レベルの認知的タスクは、GPT-4などの標準的なLLMsを用いることで、高い正確性と関連性を実現し、効果的に自動化可能である。
• 複雑な技術的問題の診断といった高レベルの推論タスクは、妥当なパフォーマンスを得るためには、リtrieval-Augmented Generation（RAG）やファインチューニングといった高度な技術が不可欠である。
• RAGによる外部知識の取得統合は、推論タスクにおける事実の整合性と文脈的正確性を顕著に向上させる。
• サービス関係者間でのデータ共有を可能にするデータエコシステムは、技術的カスタマーサービスにおけるLLMベースの自動化のスケーリングと能力強化に不可欠である。
• 本研究では、LLMsが、構造化されたデータへのアクセスおよび取得メカニズムと組み合わせることで、技術的サービスワークフローにおける人的作業を顕著に削減できることが確認された。