[論文レビュー] Ultra-Fast, Low-Storage, Highly Effective Coarse-grained Selection in Retrieval-based Chatbot by Using Deep Semantic Hashing

Tian Lan, Xian-Ling Mao+3 more|arXiv (Cornell University)|Dec 17, 2020

Advanced Image and Video Retrieval Techniques参考文献 22被引用数 6

ひとこと要約

本稿では、検索ベースのチャットボットにおける超高速で低記憶容量の粗粒度応答選択のための深層意味的ハッシュ化手法 DSHC を提案する。事前学習済みの高密度表現モデルの上に二重オートエンコーダーのハッシュ化モジュールを積み重ね、三つの損失関数で最適化することで、DSHC は顕著に低減された記憶容量と検索時間で高密度表現に近い性能を達成した。15倍の高速化と1.7–6.7 MBのインデックス記憶容量を実現しながら、高い有効性を維持した。

ABSTRACT

We study the coarse-grained selection module in retrieval-based chatbot. Coarse-grained selection is a basic module in a retrieval-based chatbot, which constructs a rough candidate set from the whole database to speed up the interaction with customers. So far, there are two kinds of approaches for coarse-grained selection module: (1) sparse representation; (2) dense representation. To the best of our knowledge, there is no systematic comparison between these two approaches in retrieval-based chatbots, and which kind of method is better in real scenarios is still an open question. In this paper, we first systematically compare these two methods from four aspects: (1) effectiveness; (2) index stoarge; (3) search time cost; (4) human evaluation. Extensive experiment results demonstrate that dense representation method significantly outperforms the sparse representation, but costs more time and storage occupation. In order to overcome these fatal weaknesses of dense representation method, we propose an ultra-fast, low-storage, and highly effective Deep Semantic Hashing Coarse-grained selection method, called DSHC model. Specifically, in our proposed DSHC model, a hashing optimizing module that consists of two autoencoder models is stacked on a trained dense representation model, and three loss functions are designed to optimize it. The hash codes provided by hashing optimizing module effectively preserve the rich semantic and similarity information in dense vectors. Extensive experiment results prove that, our proposed DSHC model can achieve much faster speed and lower storage than sparse representation, with limited performance loss compared with dense representation. Besides, our source codes have been publicly released for future research.

研究の動機と目的

• 検索ベースのチャットボットにおけるスパース（例：BM25）と高密度（例：BERTベース）表現手法を、有効性、検索時間、記憶容量、人的評価の4つの次元で体系的に比較すること。
• 優れた性能を発揮するが、計算コストと記憶容量が高いため実世界への導入が困難な高密度表現手法の課題を解決すること。
• 意味的類似性を保持しつつ、記憶容量と検索遅延を大幅に削減できるハッシュ化ベースの粗粒度選択手法を設計すること。
• 4つの公開応答選択データセットおよび人的評価を用いた広範な実験により、提案手法の有効性を検証すること。

提案手法

• 2段階のDSHCモデルを提案：まず、事前学習済みの高密度表現モデル（例：BERT）が発話文の高密度埋め込みを生成する。
• 高密度表現の上に、2つのオートエンコーダーからなるハッシュ最適化モジュールを積み重ね、コンactなバイナリーハッシュコードを学習する。
• 3つの損失関数を用いてオートエンコーダーを最適化する：保存損失（意味的類似性を維持）、ハッシュ損失（バイナリ制約を強制）、量子化損失（再構成誤差を最小化）。
• 学習されたハッシュコードを用いてハミング距離の計算により効率的な類似度検索を実現し、高速かつメモリ効率の良い候補抽出を可能にする。
• バックプロパゲーションを用いて、ハッシュコードが元の高密度ベクトルからの豊富な意味的および類似度情報の特徴を保持できるように、DSHCモデル全体をエンドツーエンドで学習する。
• GPU上でモデルをデプロイし、ハミング距離計算における並列処理を活用して高速な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 スパース（例：BM25）と高密度（例：BERTベース）表現手法は、検索ベースのチャットボットにおいて、有効性、検索時間、記憶容量、人的好みの観点からどのように比較されるか？
• RQ2 ハッシュ化ベースの手法は、高密度表現の意味的質を保持しつつ、超高速な検索と低記憶容量を達成できるか？
• RQ3 深層意味的表現から導出されるハッシュコードを用いる際の、性能と効率のトレードオフはいかほどか？
• RQ4 提案されたDSHCモデルは、BM25および高密度ベースラインと比較して、人的評価および標準的な検索指標でどのように差をつけるか？
• RQ5 提案されたハッシュモジュールは、次元数と記憶容量を削減しながらも、意味的類似性をどの程度維持できるか？

主な発見

• 高密度表現手法はスパース手法（例：BM25）を著しく上回る有効性を示し、LCCCデータセットでは相関スコアが最大0.9832に達するが、1.2–4.8 GBの記憶容量と122–572 msの検索時間が必要となる。
• DSHC-128はE-CommerceデータセットでBM25と比較して15倍の高速化（1回のクエリあたり4ms vs. 89.5ms）を達成し、インデックス記憶容量はわずか1.7 MBにまで低下した。
• DSHC-128はE-CommerceでTop-20再現率0.185、Zh50wで0.027を達成し、BM25（0.025および0.0627）を上回り、高密度モデルの性能に近づいた。
• 人的評価では、DSHCは高密度モデルと比較して31.33–53.17%の比較で勝利し、BM25と比較しても47.67–60.17%で勝利した。Cohenのカッパ係数が0.67–0.85と高く、アノテーター間の一貫性が確認された。
• DSHC-512はLCCCで0.944の相関スコアを達成し、高密度性能に近く、24 MBの記憶容量と23.5 msの検索時間で、速度・サイズ・正確性のバランスに優れた性能を示した。
• 提案されたDSHCモデルは、高密度モデルと比較して記憶容量を99%以上削減した（例：LCCCで4.8 GBから24 MBにまで低下）。その一方で、高い検索品質を維持した。