[論文レビュー] A comprehensive solution to retrieval-based chatbot construction

Kristen Moore, Shenjun Zhong+5 more|arXiv (Cornell University)|Jun 11, 2021

Topic Modeling被引用数 6

ひとこと要約

本論文では、自己教師付き対照的学習、キャッシュ付き発話埋め込みを備えた階層的RNNアーキテクチャ、およびパンダムレスポンスと弱教師付きデータセットを体系的に生成する手法を用いて、ラベルなしチャットログからエンドツーエンドの検索ベースのチャットボットを構築するフレームワークを提示する。自己教師付き対照的学習モデルは、二値分類および多値分類のベースラインを上回り、大規模な自己教師学習が現実世界の展開において高コストな手動アノテーションの必要性を排除できることを示している。

ABSTRACT

In this paper we present the results of our experiments in training and deploying a self-supervised retrieval-based chatbot trained with contrastive learning for assisting customer support agents. In contrast to most existing research papers in this area where the focus is on solving just one component of a deployable chatbot, we present an end-to-end set of solutions to take the reader from an unlabelled chatlogs to a deployed chatbot. This set of solutions includes creating a self-supervised dataset and a weakly labelled dataset from chatlogs, as well as a systematic approach to selecting a fixed list of canned responses. We present a hierarchical-based RNN architecture for the response selection model, chosen for its ability to cache intermediate utterance embeddings, which helped to meet deployment inference speed requirements. We compare the performance of this architecture across 3 different learning objectives: self-supervised contrastive learning, binary classification, and multi-class classification. We find that using a self-supervised contrastive learning model outperforms training the binary and multi-class classification models on a weakly labelled dataset. Our results validate that the self-supervised contrastive learning approach can be effectively used for a real-world chatbot scenario.

研究の動機と目的

• 完全ラベル付きデータセットを必要とせずに、顧客サポートエージェント向けに展開可能な検索ベースのチャットボットを開発すること。
• 埋め込みベースのクラスタリングと専門家による精練を用いて、非構造化チャットログから高品質なパンダムレスポンスリストを構築する課題に対処すること。
• 生のチャットログ上で対照的学習を活用することで、手動アノテーションを回避するスケーラブルな自己教師学習トレーニングパイプラインを構築すること。
• キャッシュ済み発話埋め込みを備えた階層的RNNアーキテクチャにより、CPU上での展開に適した推論速度を最適化すること。
• 現実世界のカスタマーサービス環境において、自己教師付き対照的学習と監視付きベースライン（二値分類および多値分類）を比較すること。

提案手法

• エージェントの応答をポジティブサンプルとし、ランダムに抽出された発話をネガティブサンプルとして扱い、スイップスコラム埋め込みを用いてネガティブサンプルを生成することで、自己教師付きデータセットを構築した。
• 中間発話埋め込みをキャッシュする階層的RNNアーキテクチャを構築し、CPU上での推論を高速化した。
• エージェントの応答とパンダムレスポンスの間で、正確な一致（正規表現）および曖昧な一致（埋め込みベース）を用いて、弱教師付きデータセットを生成した。
• 同一のパンダムレスポンスリストおよびデータセット分割を用いて、対照的学習、二値分類、多値分類の3つの応答選択モデルをトレーニングした。
• 応答の提案時に適切でない提案を最小限に抑えるために、信頼度しきい値を用いたメカニズムを適用した。
• キャッシュ済み埋め込みと効率的な類似度計算を活用することで、リアルタイム推論要件を満たすモデルサービングパイプラインを最適化した。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き対照的学習は、人為的ラベルが一切ない状況でも、応答検索モデルを効果的に学習できるか？
• RQ2 現実世界のチャットログデータセットにおいて、自己教師付き対照的学習モデルの性能は、監視付きベースライン（二値分類および多値分類）と比べてどうか？
• RQ3 階層的RNNアーキテクチャにおける発話埋め込みのキャッシュが、CPU上での展開における推論速度にどの程度向上効果をもたらすか？
• RQ4 異なるネガティブサンプル戦略は、特に信頼度と再現率の観点から、モデルの性能にどのような影響を与えるか？
• RQ5 新しいパンダムレスポンスを追加する際の、トレーニング時間、推論速度、拡張性の間の実用的トレードオフは何か？

主な発見

• 自己教師付き対照的学習モデルは、社内チャットログデータセットにおいて、応答選択の正確性とトップ1再現率の両面で、二値分類および多値分類モデルを上回った。
• 多値分類モデルは予測の信頼度が最も高く、応答提案のための信頼性の高いしきい値を設定しやすかった。
• キャッシュ済み埋め込みを備えた階層的RNNアーキテクチャは、リアルタイムCPUデプロイメントに十分な推論速度を達成しており、より複雑なアテンションベースのモデルよりも遅延で優れた性能を示した。
• ランダムネガティブサンプルは、二値分類および対照的学習モデルの両方で劣化した性能をもたらし、ネガティブサンプルの質が埋め込み空間の品質に顕著に影響することを示唆した。
• 自己教師付きアプローチにより、再トレーニングを伴わずにパンダムレスポンスリストの拡張が容易になった。これに対して、監視付きベースラインはリストの更新後に再トレーニングが必要であった。
• 弱教師付きデータセットは完璧ではなかったが、監視付きモデルの有効なトレーニングを可能にし、生のチャットログから自動ラベル生成の実現可能性を裏付けた。