[논문 리뷰] AliMe Assist: An Intelligent Assistant for Creating an Innovative E-commerce Experience

Feng-Lin Li, Minghui Qiu외 10명|arXiv (Cornell University)|2018. 01. 12.

Topic Modeling참고 문헌 8인용 수 31

한 줄 요약

AliMe Assist는 하이브리드 NLP 기법을 사용하여 질문 응답, 고객 서비스, 채팅 기능을 통합한 산업 규모의 지능형 보조자입니다. 컨volutional 네트워크 기반의 의도 분류, 의미 정규화와 지식 그래프 기반 검색, 그리고 주의 기반 순서-순서 재정렬을 갖춘 하이브리드 검색-생성 모델을 조합하여 매일 수백만 건의 쿼리에서 85%의 의도 해석을 달성합니다.

ABSTRACT

We present AliMe Assist, an intelligent assistant designed for creating an innovative online shopping experience in E-commerce. Based on question answering (QA), AliMe Assist offers assistance service, customer service, and chatting service. It is able to take voice and text input, incorporate context to QA, and support multi-round interaction. Currently, it serves millions of customer questions per day and is able to address 85% of them. In this paper, we demonstrate the system, present the underlying techniques, and share our experience in dealing with real-world QA in the E-commerce field.

연구 동기 및 목표

• 실세계의 지능형 보조자를 설계하고 구현하여 자동화된 지원, 고객 서비스 및 채팅 지원을 통해 이커머스 고객 경험을 향상시키는 것.
• 기존 고객 서비스의 한계—제한된 가용성, 긴 응답 시간, 높은 노동 비용—을 극복하기 위해 반복적인 문의를 자동화하는 것.
• 맥락, 지식 그래프, 하이브리드 검색-생성 모델을 통합하여 이커머스 분야의 질문 응답 정확도를 향상시키는 것.
• 생산 규모 환경에서 복잡한 사용자 쿼리에 대해 다단계 맥락 인식 상호작용을 가능하게 하는 것.
• 반복적이고 일반적인 쿼리에 대한 인간 에이전트 의존도를 줄이면서도 높은 정확도와 사용자 만족도를 유지하는 것.

제안 방법

• 맥락 통합 기반의 CNN 모델을 사용하여 의도 분류를 수행하며, 지원, 고객 서비스, 채팅 의도를 구분합니다.
• 의미 정규화와 지식 그래프를 활용하여 사용자 질문을 구조화된 엔터티로 매핑하고 지식 중심 쿼리에 대해 정확한 답변을 검색합니다.
• 트라이 기반 패턴 매칭기구를 사용하여 사전 정의된 쿼리(예: 프ом모션 오퍼)를 처리하고, 항공권 예약과 같은 작업 중심 요청에 대해 슬롯 채우기 엔진을 트리거합니다.
• 채팅 상호작용에서는 정보 검색(IR)과 순서-순서 생성(Seq2Seq) 모델을 융합한 하이브리드 접근법을 사용하며, 신뢰도 점수를 기반으로 IR 후보를 재정렬하기 위해 주의 기반 Seq2Seq 모델을 활용합니다.
• 다단계 대화에서 맥락을 활용합니다: 초기 쿼리가 충분한 정보를 포함하지 못할 경우, 이전 대화 내용을 기반으로 정보를 보완한 후 재처리합니다.
• 다층 라우팅 아키텍처를 사용합니다: 입력 → 비즈니스 룰 파서 → 의도 분류기 → 의미 파서 → 지식 그래프 또는 검색 엔진 → 응답 생성 또는 인간 수동 이관

실험 결과

연구 질문

• RQ1 하나의 통합 시스템 내에서 작업 중심 요청에서부터 고객 서비스, 사교적 대화에 이르기까지 다양한 이커머스 쿼리를 지능형 보조자가 효과적으로 처리할 수 있는 방법은 무엇인가요?
• RQ2 실세계의 이커머스 QA 환경에서 맥락 인식형 다단계 상호작용이 의도 분류 및 답변 정확도에 얼마나 기여할 수 있나요?
• RQ3 오픈 도메인 채팅 환경에서 하이브리드 검색-생성 모델이 독립적인 IR 또는 생성 모델보다 뛰어난 성능을 보일 수 있을까요?
• RQ4 지식 그래프와 의미 정규화는 이커머스 분야의 지식 중심 질문 응답 정확도를 어떻게 향상시킬 수 있나요?
• RQ5 산업 규모의 보조자가 고용량, 저지연성 고객 쿼리를 처리하는 데서 실제 성능은 어떠한가요?

주요 결과

• AliMe Assist는 매일 수백만 건의 질문을 처리하면서 고객 쿼리의 85%를 자동으로 해결합니다.
• 하이브리드 검색-생성 모델은 600문항 테스트에서 상위 1위 수용 가능한 답변 비율 60.01%를 기록하여, 독립형 IR(47.11%)와 Seq2Seq 생성 모델(52.02%)을 모두 초월했습니다.
• 온라인 A/B 테스트 결과 하이브리드 모델의 우월성이 확인되었으며, 상위 1위 정확도는 IR 전용 대비 60.36% 대 40.86%로 나타났습니다.
• CNN 기반 맥락 인식 의도 분류기로 인해 쿼리가 적절한 서비스로 정확히 라우팅되어 라우팅 정확도가 향상되고 인간 간섭이 감소했습니다.
• 의미 정규화와 지식 그래프 통합으로 지식 중심 질문 응답의 정밀도가 크게 향상되었으며, 특히 모호하거나 비공식적인 질문에 대해 유의미한 개선이 있었습니다.
• 맥락 보완 기반의 다단계 상호작용은 초반에 정보가 부족했던 복잡한 쿼리의 해결 능력을 향상시켰습니다.