[논문 리뷰] Transfer Learning for Context-Aware Question Matching in Information-seeking Conversations in E-commerce

Minghui Qiu, Yang Liu외 7명|arXiv (Cornell University)|2018. 06. 14.

Topic Modeling참고 문헌 25인용 수 11

한 줄 요약

이 논문은 전이 학습을 활용한 컨volutional 신경망 기반의 효율적이고 효과적인 다회화 대화 매칭 모델인 MT-hCNN을 제안하여 전자상거래 챗봇에서 맥락 인식 질문 매칭을 향상시킨다. RNN을 CNN로 대체하고 적대적 도메인 적응을 통합함으로써, 온라인 배포 시 60% 빠른 추론 속도와 5–10% 향상된 CTR를 달성하며 최신 기술 수준의 성능을 확보한다.

ABSTRACT

Building multi-turn information-seeking conversation systems is an important and challenging research topic. Although several advanced neural text matching models have been proposed for this task, they are generally not efficient for industrial applications. Furthermore, they rely on a large amount of labeled data, which may not be available in real-world applications. To alleviate these problems, we study transfer learning for multi-turn information seeking conversations in this paper. We first propose an efficient and effective multi-turn conversation model based on convolutional neural networks. After that, we extend our model to adapt the knowledge learned from a resource-rich domain to enhance the performance. Finally, we deployed our model in an industrial chatbot called AliMe Assist (https://consumerservice.taobao.com/online-help) and observed a significant improvement over the existing online model.

연구 동기 및 목표

• 산업용 전자상거래 응용 분야에서 기존 신경망 매칭 모델의 비효율성을 해결한다.
• 전이 학습을 활용해 다회화 대화 시스템의 대규모 레이블 데이터 의존도를 줄인다.
• 자원이 풍부한 소스 도메인의 지식을 활용해 자원이 제한된 타겟 도메인에서의 맥락 인식 질문 매칭 성능을 향상시킨다.
• 고성능 트래픽을 처리하는 전자상거래 챗봇에서 실시간 배포에 적합한 확장성 있고 효율적인 모델을 개발한다.
• 이중 도메인 식별자와 함께 도메인 적대적 훈련이 도메인 간 특징 정렬을 향상시키는 데 효과적인지 입증한다.

제안 방법

• 의사문장 인코딩(SE 기반)과 문장 상호작용(SI 기반) CNN 구성 요소를 조합한 다회화 하이브리드 CNN 모델인 MT-hCNN을 제안하여 발화 및 응답 표현을 위한 모델링을 수행한다.
• 순차적 매칭 네트워크(SMN)의 RNN 레이어를 CNN과 완전 연결 레이어로 대체하여 성능 유지와 함께 추론 속도를 향상시킨다.
• 공유 인코더, 도메인별 인코더, 그리고 적대적 훈련을 포함한 전이 학습 모듈을 도입하여 도메인 불변 특징을 학습한다.
• 소스 도메인 및 타겟 도메인 특징에 도메인 식별자를 추가하여 도메인 특화된 특징 학습을 강화하고 일반화 성능을 향상시킨다.
• 실시간 배포에서 온라인 스코링 속도를 높이기 위해 1개 쿼리당 15개의 후보 질문을 사용하는 미니배치 추론을 적용한다.
• 기울기 반전을 통한 적대적 훈련을 적용하여 공유 특징을 도메인 간에 정렬하면서도 도메인 특화된 특징를 유지한다.

실험 결과

연구 질문

• RQ1 RNN 기반 모델(SMN)과 비교해 유사한 성능을 달성하면서도 추론 효율성을 크게 향상시킬 수 있는 CNN 기반 모델은 가능한가?
• RQ2 대규모 소스 도메인이 가용할 경우, 전이 학습이 자원이 제한된 타겟 도메인에서의 성능 향상에 얼마나 효과적인가?
• RQ3 표준 적대적 도메인 적응과 비교해 소스 및 타겟 특징에 모두 도메인 식별자를 추가하면 일반화 성능 향상에 기여하는가?
• RQ4 제안된 모델이 실세계 산업용 챗봇에 효과적으로 배포되어 사용자 참여 지표(예: CTR) 향상에 기여할 수 있는가?
• RQ5 다회화 전자상거래 대화에서 맥락 인식 질문 매칭의 성능과 효율성 간의 상호 교환 관계는 어떠한가?

주요 결과

• MT-hCNN는 벤치마크 데이터셋에서 SMN과 유사하거나 뛰어난 성능을 달성하면서 추론 시간을 약 60% 감소시켰다.
• 2개의 서비스 인스턴스(각각 코어 2개, 메모리 4GB)로 구성된 클러스터에서 최대 40개의 쿼리/초의 피크 쿼리 처리량을 지원한다.
• 도메인 식별자를 통한 전이 학습은 타겟 도메인(AliMeData)에서 성능 향상을 이끌어내었으며, MAP 0.8523을 달성하여 베이스라인 TL-S 방법(MAP 0.8521)을 초월했다.
• 온라인 A/B 테스트 결과, 기존 온라인 모델(CTR: 0.194–0.221) 대비 제안된 모델을 사용할 경우 CTR가 5–10% 향상되었다(CTR: 0.266–0.291).
• Src-only 베이스라인보다 Tgt-only 베이스라인이 성능이 뛰어나 소스와 타겟 도메인 간의 도메인 이동이 존재함을 시사하지만, 전이 학습은 여전히 측정 가능한 성능 향상을 제공한다.
• 소스 및 타겟 특징에 모두 도메인 식별자를 포함시킨 결과, TL-S 베이스라인 대비 R@5(0.8125 vs. 0.8022)와 R@2(0.4881 vs. 0.4812)에서 측정 가능한 향상이 있었다.