[論文レビュー] Natural Language Processing in Customer Service: A Systematic Review

Malak Mashaabi, Areej Alotaibi+3 more|arXiv (Cornell University)|Dec 16, 2022

Sentiment Analysis and Opinion Mining被引用数 7

ひとこと要約

本系統的レビューでは、2015年から2022年までの自然言語処理（NLP）のカスタマーサービスへの応用を分析し、分野、データセット、評価指標、研究動向を検討している。主なツールとしてチャットボットと質問応答システムが顕著であり、主な応用分野はeコマース、ソーシャルメディア、一般サービスである。標準の評価指標として正確性、適合率、再現率、F1が強調されているが、今後の研究ではデータの多様性と感情理解の向上が求められている。

ABSTRACT

Artificial intelligence and natural language processing (NLP) are increasingly being used in customer service to interact with users and answer their questions. The goal of this systematic review is to examine existing research on the use of NLP technology in customer service, including the research domain, applications, datasets used, and evaluation methods. The review also looks at the future direction of the field and any significant limitations. The review covers the time period from 2015 to 2022 and includes papers from five major scientific databases. Chatbots and question-answering systems were found to be used in 10 main fields, with the most common use in general, social networking, and e-commerce areas. Twitter was the second most commonly used dataset, with most research also using their own original datasets. Accuracy, precision, recall, and F1 were the most common evaluation methods. Future work aims to improve the performance and understanding of user behavior and emotions, and address limitations such as the volume, diversity, and quality of datasets. This review includes research on different spoken languages and models and techniques.

研究の動機と目的

• 2015年から2022年までの研究分野、応用分野、研究手法を網羅的に分析し、カスタマーサービスにおけるNLPの現状を明らかにすること。
• NLPベースのカスタマーサービス研究で最も頻繁に使用されているデータセットと評価指標を特定すること。
• データ品質、多様性、モデルによるユーザーの感情理解の欠如といった、既存研究における制約要因を検討すること。
• NLPシステムにおけるパフォーマンスの向上および行動的・感情的理解の向上を含む、今後の研究方向性を検討すること。
• 多言語および多分野のカスタマーサービス環境において応用されたNLP技術とモデルの包括的合成を提供すること。

提案手法

• 2015年から2022年までの期間をカバーする5つの主要な学術データベースを用いて、系統的文献レビューを実施した。
• カスタマーサービスにおけるNLP応用に焦点を当てた査読済み研究、特にチャットボットと質問応答システムを対象に特定・分析した。
• 応用分野、データセット使用状況、正確性、適合率、再現率、F1といった評価指標を基に、研究を分類した。
• 多言語NLPアプローチを含む、モデルと技術の使用状況をレビューし、言語間適用可能性を評価した。
• 選択された論文の主題的および定量的分析に基づき、研究動向、制約要因、今後の方向性を統合した。
• 特にオリジナルおよびTwitterデータセットの普及に注目し、使用されたデータセットの質、量、多様性を評価した。

実験結果

リサーチクエスチョン

• RQ1 NLPがカスタマーサービスで最も頻繁に活用される応用分野は何か。また、その主なユースケースは何か。
• RQ2 NLP研究におけるカスタマーサービス分野で最も頻繁に使用されるデータセットは何か。また、サイズと多様性の観点からどのように比較されるか。
• RQ3 NLPモデルのカスタマーサービス分野における性能を評価する際に最も一般的に使用される評価指標は何か。また、それらはモデルのパフォーマンスをどのように反映しているか。
• RQ4 現在のNLP研究における主な制約要因は何か。特にデータ品質と感情理解の観点から。
• RQ5 NLPにおけるカスタマーサービス分野の今後の研究方向性は何か。また、それらは既存のギャップをどのように埋めるか。

主な発見

• チャットボットと質問応答システムが最も一般的なNLP応用であり、10の主要分野に展開されており、eコマース、ソーシャルネットワーキング、一般カスタマーサービスが最も頻度が高い。
• Twitterは2番目に頻繁に使用されたデータセットであり、次いで特定の応用目的に特化して収集されたオリジナル・インハウスデータセットを多数の研究が使用していた。
• 正確性、適合率、再現率、F1が最も広く報告された評価指標であり、分類および意図認識のパフォーマンスに強い注目が集まっていることが示された。
• 進展は見られるものの、研究上の制約には、データの多様性が不十分であること、多言語カバー範囲が限定的であること、ユーザーの感情および行動的文脈のモデル化が不十分であることが含まれる。
• 今後の研究は、モデルの解釈性の向上、感情および文脈理解の強化、より多様で代表的なサンプルを含むデータセットの拡充を重点に置くと予想される。
• 本レビューは、NLPを用いたカスタマーサービスが、よりパーソナライズされ、文脈に配慮したシステムへと進化していることを確認しているが、データ品質とスケーラビリティの面での課題は依然として顕著である。