[論文レビュー] A practical approach to dialogue response generation in closed domains

Yichao Lu, Phillip Keung+3 more|arXiv (Cornell University)|Mar 28, 2017

Topic Modeling参考文献 11被引用数 13

ひとこと要約

本稿では、顧客対応のチャットコーパスを用いて訓練された、二重エンコーダーネットワークを用いて顧客の照会内容と関連する応答テンプレートを照合する、弱教師ありのテンプレートベースの対話応答生成システムを提案する。80.0%のprecision@3と過去の照会の70%を超えるカバレッジを達成し、関連性とランク付け精度においてtf-idfベースラインを著しく上回る。

ABSTRACT

We describe a prototype dialogue response generation model for the customer service domain at Amazon. The model, which is trained in a weakly supervised fashion, measures the similarity between customer questions and agent answers using a dual encoder network, a Siamese-like neural network architecture. Answer templates are extracted from embeddings derived from past agent answers, without turn-by-turn annotations. Responses to customer inquiries are generated by selecting the best template from the final set of templates. We show that, in a closed domain like customer service, the selected templates cover $>$70\% of past customer inquiries. Furthermore, the relevance of the model-selected templates is significantly higher than templates selected by a standard tf-idf baseline.

研究の動機と目的

• 顧客対応の手作業が重い対話を軽減し、閉域において応答生成を自動化すること。
• 会話の順番ごとのアノテーションなしで、非構造化されたエージェントの返答から有限の高品質で再利用可能な応答テンプレートを特定すること。
• 弱教師ありのディープラーニングアプローチを用いて、応答の関連性を向上させ、テンプレート選択の手作業を削減すること。
• テキストおよび音声インターフェースをサポートする、スケーラブルで効率的かつデプロイ可能な対話システムを実現すること。
• 顧客照会の関連性とランク付けパフォーマンスにおいて、従来の検索ベースライン（例：tf-idf）を上回ること。

提案手法

• 二重エンコーダー・ネットワークアーキテクチャを用いて、顧客の質問とエージェントの回答を同じベクトル空間に埋め込み、類似度を測定する。
• 明示的な意図アノテーションや人間による意図クラスタのラベルなしに、過去のチャットログのみを用いて弱教師ありで訓練する。
• 履歴エージェント返答の埋め込みを用いて、埋め込み空間におけるクラスタリングにより、応答テンプレートを自動抽出する。
• 最終的な応答は、入力質問との埋め込み類似度に基づき、スコアが最も高いテンプレートをプールから選択することで生成する。
• 既存の注文および問題のメタデータを活用し、日付や注文状況などの動的コンテンツ用のスロットをテンプレートに統合する。
• 自動指標（MRR、precision@3）と、顧客対応エージェントによる関連性スコアの人的評価を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 弱教師ありの二重エンコーダーモデルは、非構造化された顧客対応チャットログから関連する応答テンプレートを効果的に検索できるか？
• RQ2 自動抽出されたテンプレートは、閉域において過去の顧客照問のどの程度をカバーできるか？
• RQ3 二重エンコーダーモデルは、従来のtf-idfベースラインと比較して、応答の関連性とランク付けパフォーマンスで優れているか？
• RQ4 人的評価者は、モデルが選択したテンプレートを、tf-idfベースラインのものよりも著しく関連性が高いと評価できるか？
• RQ5 内部の注文データを用いて、動的コンテンツやポジティブ・ネガティブを考慮した応答をサポートするための拡張可能性はどの程度か？

主な発見

• 二重エンコーダーモデルは、平均逆順位（MRR）が0.685を達成し、tf-idfベースライン（MRR = 0.562）を著しく上回った。
• モデルのprecision@3は80.0%に達したのに対し、tf-idfベースラインは65.2%であった。これは、上位3件の応答のランク付けが優れていることを示している。
• 過去の顧客照問の70%を超えるカバレッジを達成した。これは、閉域において強いカバレッジを示している。
• 人的評価者は、モデルが選択した応答に対して平均関連性スコア2.08を付与した。一方、tf-idfベースラインは1.66であった（p < 0.05）。
• モデルは100件の質問のうち48件で、上位3件のうち少なくとも1件が「非常に関連性が高い」（スコア = 3）と評価された。一方、tf-idfベースラインでは31件であった。
• 本モデルは、明示的な意図アノテーションやビームサーチなしに、高い関連性とカバレッジを達成できることを示している。これにより、導入が簡素化される。