[論文レビュー] Transfer Learning for Context-Aware Question Matching in Information-seeking Conversations in E-commerce

Minghui Qiu, Yang Liu+7 more|arXiv (Cornell University)|Jun 14, 2018

Topic Modeling参考文献 25被引用数 11

ひとこと要約

本稿では、トランスファー学習を用いてeコマースチャットボットにおける文脈認識型質問マッチングを向上させる、畳み込みニューラルネットワークに基づく効率的で効果的なマルチターン会話マッチングモデルMT-hCNNを提案する。RNNの代わりにCNNを採用し、敵対的ドメイン適応を統合することで、オンラインでの導入において60%高速な推論と5–10%のCTR向上を達成し、最先端の性能を実現した。

ABSTRACT

Building multi-turn information-seeking conversation systems is an important and challenging research topic. Although several advanced neural text matching models have been proposed for this task, they are generally not efficient for industrial applications. Furthermore, they rely on a large amount of labeled data, which may not be available in real-world applications. To alleviate these problems, we study transfer learning for multi-turn information seeking conversations in this paper. We first propose an efficient and effective multi-turn conversation model based on convolutional neural networks. After that, we extend our model to adapt the knowledge learned from a resource-rich domain to enhance the performance. Finally, we deployed our model in an industrial chatbot called AliMe Assist (https://consumerservice.taobao.com/online-help) and observed a significant improvement over the existing online model.

研究の動機と目的

• 産業的eコマース応用における既存のニューラルマッチングモデルの非効率性を解決する。
• トランスファー学習を活用して、大規模なラベル付きデータに依存するマルチターン会話システムの依存度を低減する。
• リソース豊富なソースドメインからの知識を活用して、リソースが限られるターゲットドメインにおける文脈認識型質問マッチングのパフォーマンスを向上させる。
• 高トラフィックのeコマースチャットボットにおけるリアルタイム導入に適したスケーラブルで効率的なモデルを開発する。
• 二重ドメイン識別器を用いたドメイン敵対的訓練が、ドメイン間の特徴統合をより良く行うかを検証する。

提案手法

• 文脈表現のための文書エンコーディング（SEベース）と文の相互作用のためのコンボリューショナルニューラルネットワーク（SIベース）の両方を組み合わせた、マルチターンハイブリッドCNNモデルMT-hCNNを提案する。
• 順序付きマッチングネットワーク（SMN）におけるRNN層をCNNと全結合層に置き換えることで、パフォーマンスを維持しつつ推論速度を向上させる。
• 共有エンコーダ、ドメイン固有エンコーダ、敵対的訓練を組み合わせたトランスファー学習モジュールを導入し、ドメイン不変特徴を学習する。
• ソースドメインおよびターゲットドメインの特徴にドメイン識別器を追加することで、ドメイン固有の特徴学習を強化し、一般化性能を向上させる。
• リアルタイム導入におけるオンラインスコアリングの高速化を図るため、1クエリあたり15件の候補質問を用いたミニバッチ推論を採用する。
• 勾配反転を用いた敵対的訓練により、ドメイン間で共有される特徴を統一しつつ、ドメイン固有の特徴を保持する。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのモデルは、SMNのようなRNNベースのモデルと同等のパフォーマンスを達成しつつ、推論効率を著しく向上させることができるか？
• RQ2 大規模なソースドメインが利用可能な場合、トランスファー学習はリソースが限られるターゲットドメインにおけるパフォーマンス向上にどの程度有効か？
• RQ3 ソースおよびターゲットの両方の特徴にドメイン識別器を追加することで、標準的な敵対的ドメイン適応と比較してモデルの一般化性能が向上するか？
• RQ4 提案されたモデルは、実世界の産業的チャットボットに効果的に導入可能で、CTRのようなユーザーエンゲージメント指標の向上に寄与するか？
• RQ5 マルチターンeコマース会話における文脈認識型質問マッチングにおいて、モデルの効率性とパフォーマンスのトレードオフはどのようなものか？

主な発見

• MT-hCNNは、ベンチマークデータセット上でSMNと同等または優れたパフォーマンスを達成するとともに、推論時間を約60%短縮した。
• 2台のサービスインスタンス（各2コア、4GB RAM）で構成されるクラスタ上で、ピーククエリスループットは1秒あたり40クエリを達成した。
• ドメイン識別器を用いたトランスファー学習により、ターゲットドメイン（AliMeData）でのパフォーマンスが向上し、MAPは0.8523を記録。ベースラインのTL-S手法（MAP 0.8521）を上回った。
• オンラインA/Bテストの結果、既存のオンラインモデル（CTR: 0.194–0.221）と比較して、提案モデルを用いることでCTRが5–10%向上（CTR: 0.266–0.291）した。
• ターゲットデータのみを用いたTgt-onlyベースラインが、ソースデータのみのSrc-onlyベースラインを上回ったことから、ソースドメインとターゲットドメイン間にドメインシフトが存在することが示されたが、それでもトランスファー学習は明確な向上効果を示した。
• ソースおよびターゲットの両方の特徴にドメイン識別器を追加することで、TL-Sベースラインと比較してR@5（0.8125 vs. 0.8022）およびR@2（0.4881 vs. 0.4812）の指標が明確に向上した。