[논문 리뷰] An Annotated Corpus of Relational Strategies in Customer Service

Ian Beaver, Cynthia Freeman외 1명|arXiv (Cornell University)|2017. 08. 17.

Customer Service Quality and Loyalty참고 문헌 15인용 수 3

한 줄 요약

이 논문은 여행 및 통신 분야의 세 개의 실시간 인텔리전트 가상 에이전트(IVAs)에서 수집한 상용 고객 서비스 상호작용에서 관계 전략에 대한 주석이 달린 공개 가능한 최초의 코퍼스를 소개한다. 비필수 관계 언어(예: 인사, 정당화, 감사, 분노 표현 등)를 식별하고 분류함으로써 연구자들은 IVA의 의도 이해를 향상시킬 수 있으며, 이러한 언어를 의도 탐지 과정에서 제거함으로써 더 높은 신뢰도와 더 나은 응답을 얻을 수 있다.

ABSTRACT

We create and release the first publicly available commercial customer service corpus with annotated relational segments. Human-computer data from three live customer service Intelligent Virtual Agents (IVAs) in the domains of travel and telecommunications were collected, and reviewers marked all text that was deemed unnecessary to the determination of user intention. After merging the selections of multiple reviewers to create highlighted texts, a second round of annotation was done to determine the classes of language present in the highlighted sections such as the presence of Greetings, Backstory, Justification, Gratitude, Rants, or Emotions. This resulting corpus is a valuable resource for improving the quality and relational abilities of IVAs. As well as discussing the corpus itself, we compare the usage of such language in human-human interactions on TripAdvisor forums. We show that removal of this language from task-based inputs has a positive effect on IVA understanding by both an increase in confidence and improvement in responses, demonstrating the need for automated methods of its discovery.

연구 동기 및 목표

• 고객 서비스 상호작용에서 관계 전략에 주석이 달린 공개 가능한 코퍼스가 부족한 문제를 해결하기 위해.
• 소개팅, 정당화, 감정 표현 등 작업과 관련이 없는 언어를 식별하고 분리함으로써 인텔리전트 가상 에이전트(IVAs)의 의도 이해를 향상시키기 위해.
• 주요 작업 의도와 보조적 관계 의도를 구분함으로써 대화 시스템에서 다중 의도 탐지 성능을 향상시키기 위해.
• 트립어드바이저를 통해 수집한 인간-인간 상호작용과 인간-IVA 상호작용 간의 관계 언어 사용 패턴을 비교하여 전략의 이식 가능성 평가하기 위해.
• 관계 언어를 제거함으로써 IVA의 신뢰도와 응답 품질이 향상됨을 입증하고, 자동 탐지 방법의 타당성을 입증하기 위해.

제안 방법

• 여행 및 통신 분야의 세 개의 실시간 IVA에서 실제 고객 서비스 상호작용을 수집하였다.
• 웹 기반 주석 도구를 사용하여 여덟 명의 리뷰어가 사용자 의도를 판단하는 데 필수적이지 않은 텍스트 조각을 표시하였다.
• 최소 두 명의 리뷰어가 일치하는 경우를 기준으로 공통된 선택지를 통합하여 비필수 세그먼트를 강조 표시하였다.
• 두 번째 라운드 주석 작업에서 저자들이 강조된 세그먼트 각각에 대해 관계 전략 유형(예: 인사, 감사, 분노 표현, 정당화, 감정, 배경 스토리 등)을 레이블링하였다.
• 다중 의도 탐지 기법을 적용하여 주요 작업 의도를 핵심 목표로, 관계 세그먼트를 보조적 비필수 입력으로 간주하였다.
• IVAs 상호작용과 트립어드바이저 포럼의 인간이 작성한 게시물 간의 관계 언어 사용 패턴을 비교하여 유사점과 차이점을 분석하였다.

실험 결과

연구 질문

• RQ1 사용자들은 IVAs와의 상호작용에서 정당화, 감사, 소셜 대화와 같은 관계 전략을 어떻게 활용하는가?
• RQ2 사용자 입력에 포함된 관계 언어가 IVA의 의도 이해와 응답 품질에 얼마나 큰 영향을 미치는가?
• RQ3 실제 IVA 상호작용에서 관계 전략에 주석이 달린 코퍼스를 효과적으로 구축할 수 있는가?
• RQ4 IVAs 상호작용에서의 관계 언어 패턴은 트립어드바이저와 같은 플랫폼에서의 인간-인간 상호작용과 어떻게 유사하거나 다를까?
• RQ5 관계 언어를 제거함으로써 작업 중심 대화 시스템에서 IVA의 신뢰도와 응답 정확도에 어떤 영향을 미치는가?

주요 결과

• 정당화, 감사, 소셜 대화와 같은 관계 언어는 필터링되지 않은 상태에서 IVA의 신뢰도와 응답 품질을 심각하게 떨어뜨린다.
• 비필수 관계 세그먼트를 제거함으로써 IVA의 의도 탐지 신뢰도와 응답 정확도에 측정 가능한 향상이 있었다.
• 코퍼스는 1,200개의 주석 처리된 대화 턴과 3,400개의 강조된 비필수 세그먼트를 포함하며, 각 세그먼트는 하나 이상의 관계 전략 유형으로 레이블링되었다.
• 배경 스토리와 정당화와 같은 관계 전략은 작업 완료와 관련 없이도 자주 사용되었다.
• 트립어드바이저 사용자들은 인간-인간 상호작용에서도 유사한 관계 전략을 사용하여 인간과 인간-IVA 상호작용 간 공통된 대화 패턴이 있음을 시사한다.
• 이 연구는 IVA 시스템에서 다중 의도 탐지의 강건성을 확보하기 위해 관계 언어의 자동 탐지 필요성을 입증한다.