[論文レビュー] Improving Multi-turn Dialogue Modelling with Utterance ReWriter

Hui Su, Xiaoyu Shen+5 more|arXiv (Cornell University)|Jun 14, 2019

Topic Modeling参考文献 36被引用数 17

ひとこと要約

本稿では、核心参照の解消とユーザー発話における省略された情報の補完によって、マルチターン対話システムの性能を向上させるTransformerベースの発話再ライティング手法を提案する。発話を文脈的依存関係を回復する形で再ライティングすることで、下流の意図検出および応答生成が向上し、F1スコア0.86を達成するとともに、オンラインチャットボットにおけるユーザー参加度が向上した。

ABSTRACT

Recent research has made impressive progress in single-turn dialogue modelling. In the multi-turn setting, however, current models are still far from satisfactory. One major challenge is the frequently occurred coreference and information omission in our daily conversation, making it hard for machines to understand the real intention. In this paper, we propose rewriting the human utterance as a pre-process to help multi-turn dialgoue modelling. Each utterance is first rewritten to recover all coreferred and omitted information. The next processing steps are then performed based on the rewritten utterance. To properly train the utterance rewriter, we collect a new dataset with human annotations and introduce a Transformer-based utterance rewriting architecture using the pointer network. We show the proposed architecture achieves remarkably good performance on the utterance rewriting task. The trained utterance rewriter can be easily integrated into online chatbots and brings general improvement over different domains.

研究の動機と目的

• マルチターン対話における核心参照と情報省略の課題に対処し、正確な理解と応答生成を妨げる要因を解消すること。
• モデルに依存しない、メモリ効率の良い前処理ステップを構築し、マルチターン対話を単一ターン問題に簡素化すること。
• 核心参照解消および情報補完のための高品質で手作業でアノテートされた中国語対話データセットを収集・公開すること。
• 発話再ライティングの統合を通じて、実世界のチャットボットシステムにおける意図検出と応答品質を向上させること。

提案手法

• 発話再ライティングモデルは、指標ネットワーク機構を組み込んだ変更されたTransformerアーキテクチャを用いて、抽出的生成タスクとして学習される。
• モデルは、現在の発話または対話履歴からの単語を注目メカニズムを用いてコピーすることで、再ライティングされた発話を生成する。
• アーキテクチャは、文内依存関係をモデル化するためのTransformerの自己注意機構を組み込みつつ、元のテキストからのコピー能力を維持している。
• 教師あり学習のため、人間がアノテートした再ライティングを含む20,000件のマルチターン中国語対話データセットを収集した。
• 核心参照解消と情報補完の両方の目的をバランスさせるために、重み付きλ損失関数を用いてモデルをファインチューニングした。
• 訓練済みの再ライティングモデルは、タスク指向型システムとチャチャットシステムの2つのオンラインチャットボットプラットフォームに統合され、エンドツーエンドの評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 事前処理としての発話再ライティングが、核心参照の解消と省略された情報の補完を通じて、マルチターン対話理解を顕著に向上させることができるか？
• RQ2 RNNおよび標準Transformerベースラインと比較して、Transformerベースのポインタネットワークアーキテクチャは、発話再ライティングにおいてどの程度有効であるか？
• RQ3 発話再ライティングの統合が、タスク指向型対話システムにおける意図分類精度をどの程度向上させるか？
• RQ4 発話再ライティングは、実世界のチャットボットアプリケーションにおいて、ユーザー参加度および会話品質に測定可能な改善をもたらすか？

主な発見

• 提案されたT-Ptr-λモデルは、発話再ライティングタスクにおいてF1スコア0.86を達成し、RNNおよび標準Transformerベースラインを上回った。
• 発話再ライティングは、タスク指向型チャットボットにおける意図分類の精度を81.0%から89.91%まで向上させ、相対的な改善は9%以上であった。
• オンラインA/Bテストでは、再ライティングの統合により1セッションあたりの平均会話ターン数（CPS）が6.3から7.7に上昇し、ユーザー参加度の向上が示された。
• 人的評価では、モデルが生成した再ライティングが流暢であり、5.0満点で4.90のスコアを記録した（人間基準の4.97に近い）。
• モデルは暗黙の情報を効果的に回復でき、天気関連のクエリにおいて「北京で気分がすぐれない」のような文脈を復元し、正しい意図検出を可能にした。
• モデルはドメインをまたいで一般化可能であり、アーキテクチャの変更なしに、既存のブラックボックス対話システムに容易に統合できる。