[논문 리뷰] Ultra-Fast, Low-Storage, Highly Effective Coarse-grained Selection in Retrieval-based Chatbot by Using Deep Semantic Hashing

Tian Lan, Xian-Ling Mao외 3명|arXiv (Cornell University)|2020. 12. 17.

Advanced Image and Video Retrieval Techniques참고 문헌 22인용 수 6

한 줄 요약

이 논문은 검색 기반 채팅 봇에서 초고속, 저메모리 사용으로 군집 응답 선택을 위한 딥 세마틱 해싱 방법인 DSHC를 제안한다. 사전 훈련된 밀집 표현 모델 위에 두 개의 오토인코더 해싱 모듈을 겹쳐 놓고 세 가지 손실 함수로 최적화함으로써, DSHC는 저장 용량과 검색 시간을 크게 줄였음에도 불구하고 밀집 표현 성능에 근접한 성능을 달성한다. 이는 BM25 대비 15배 빠른 검색 속도와 1.7–6.7MB의 인덱스 저장 용량을 보이며, 높은 효과성 유지함을 입증한다.

ABSTRACT

We study the coarse-grained selection module in retrieval-based chatbot. Coarse-grained selection is a basic module in a retrieval-based chatbot, which constructs a rough candidate set from the whole database to speed up the interaction with customers. So far, there are two kinds of approaches for coarse-grained selection module: (1) sparse representation; (2) dense representation. To the best of our knowledge, there is no systematic comparison between these two approaches in retrieval-based chatbots, and which kind of method is better in real scenarios is still an open question. In this paper, we first systematically compare these two methods from four aspects: (1) effectiveness; (2) index stoarge; (3) search time cost; (4) human evaluation. Extensive experiment results demonstrate that dense representation method significantly outperforms the sparse representation, but costs more time and storage occupation. In order to overcome these fatal weaknesses of dense representation method, we propose an ultra-fast, low-storage, and highly effective Deep Semantic Hashing Coarse-grained selection method, called DSHC model. Specifically, in our proposed DSHC model, a hashing optimizing module that consists of two autoencoder models is stacked on a trained dense representation model, and three loss functions are designed to optimize it. The hash codes provided by hashing optimizing module effectively preserve the rich semantic and similarity information in dense vectors. Extensive experiment results prove that, our proposed DSHC model can achieve much faster speed and lower storage than sparse representation, with limited performance loss compared with dense representation. Besides, our source codes have been publicly released for future research.

연구 동기 및 목표

• 검색 기반 채팅 봇에서 스퍼스(예: BM25)와 밀집(예: BERT 기반) 표현 방법을 효과성, 검색 시간, 저장 용량, 인간 평가의 네 가지 차원에서 체계적으로 비교하기 위해.
• 우수한 성능를 보이지만 높은 계산 및 저장 비용으로 인해 실세계 적용이 어려운 밀집 표현 방법의 문제를 해결하기 위해.
• 세마틱 유사성을 유지하면서 저장 용량과 검색 지연을 극적으로 줄이는 해싱 기반의 군집 선택 방법을 설계하기 위해.
• 네 개의 공개된 응답 선택 데이터셋과 인간 평가를 통한 광범위한 실험을 통해 제안된 방법을 검증하기 위해.

제안 방법

• 두 단계로 구성된 DSHC 모델을 제안: 첫 번째 단계에서 사전 훈련된 밀집 표현 모델(예: BERT)이 발화에 대한 밀집 임베딩을 생성한다.
• 밀집 표현 위에 두 개의 오토인코더로 구성된 해싱 최적화 모듈을 겹쳐 놓아, 압축된 이진 해시 코드를 학습한다.
• 세 가지 손실 함수를 사용해 오토인코더를 최적화한다: 유지 손실(세마틱 유사성 유지), 해시 손실(이진 제약 강제), 양자화 손실(재구성 오차 최소화).
• 학습된 해시 코드를 사용해 해밍 거리 계산을 통해 효율적인 유사도 검색을 수행함으로써, 빠르고 메모리 효율적인 후보 검색을 가능하게 한다.
• 백프로파게이션을 통해 전체 DSHC 모델을 엔드 투 엔드로 훈련함으로써, 해시 코드가 원래의 밀집 벡터로부터 풍부한 세마틱 및 유사성 정보를 유지하도록 보장한다.
• 고속 추론을 위해 GPU 기반으로 모델을 배포하고, 해밍 거리 계산의 병렬성을 활용한다.

실험 결과

연구 질문

• RQ1 검색 기반 채팅 봇에서 스퍼스(예: BM25)와 밀집(예: BERT 기반) 표현 방법은 효과성, 검색 시간, 저장 용량, 인간 선호도 측면에서 어떻게 비교될 수 있는가?
• RQ2 해싱 기반 방법은 밀집 표현의 세마틱 품질을 유지하면서 초고속 검색과 저저장 용량을 달성할 수 있는가?
• RQ3 딥 세마틱 표현에서 유도된 해시 코드를 사용할 때 성능와 효율성 사이의 상호 상충 관계는 어떠한가?
• RQ4 제안된 DSHC 모델은 인간 평가와 표준 검색 메트릭에서 BM25 및 밀집 기반 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 해싱 모듈은 차원 수와 저장 용량을 줄이면서도 세마틱 유사성을 얼마나 잘 유지할 수 있는가?

주요 결과

• 밀집 표현 방법은 스퍼스 방법(예: BM25)보다 효과성에서 뚜렷한 우월성을 보이며, LCCC 데이터셋에서 상관계수 점수가 최대 0.9832에 이르지만, 저장 용량은 1.2–4.8GB, 검색 시간은 122–572ms를 요구한다.
• DSHC-128은 E-Commerce 데이터셋에서 BM25 대비 15배 빠른 검색 속도(4ms 대비 89.5ms/질의)를 달성하며, 인덱스 저장 용량은 단 1.7MB로 밀집 모델보다 극적으로 낮다.
• DSHC-128은 E-Commerce에서 Top-20 재현율 0.185, Zh50w에서 0.027를 기록하여, BM25(0.025 및 0.0627)를 초월하고 밀집 모델 성능에 근접한다.
• 인간 평가 결과, DSHC는 밀집 모델과 비교해 31.33–53.17%의 비교에서 승리했으며, BM25와 비교해선 47.67–60.17%에서 승리했고, 코HEN의 카파 계수(0.67–0.85)가 높아 평가자 간 일致성이 높음을 나타낸다.
• DSHC-512는 LCCC에서 0.944의 상관계수를 기록하며 밀집 표현에 근접한 성능를 달성했고, 저장 용량은 24MB, 검색 시간은 23.5ms로 속도, 크기, 정확성의 균형을 잘 유지한다.
• 제안된 DSHC 모델은 밀집 모델 대비 저장 용량을 99% 이상 감소시켰다(예: LCCC에서 4.8GB에서 24MB로 감소), 동시에 높은 검색 품질을 유지한다.