[論文レビュー] SUMBT+LaRL: End-to-end Neural Task-oriented Dialog System with Reinforcement Learning

Hwaran Lee, Seokhwan Jo+3 more|arXiv (Cornell University)|Sep 22, 2020

Topic Modeling参考文献 41被引用数 11

ひとこと要約

本稿では、強化学習を用いてユーザーベリーフトラッキングと顔料的応答生成を統合的に最適化するエンド・ツー・エンドのニューラルタスク指向対話システム、SUMBT+LaRLを提案する。SUMBT+をユーザーベリーフ推定用に、LaRLを顔料的アクションモデリング用に別々に事前学習した後、エンド・ツー・エンドのファインチューニングを実施することで、DSTC8チャレンジにおいてコーパスベース評価で85.4%、シミュレータベース評価で81.40%という、新たな最先端の成功確率を達成した。

ABSTRACT

The recent advent of neural approaches for developing each dialog component in task-oriented dialog systems has remarkably improved, yet optimizing the overall system performance remains a challenge. In this paper, we propose an end-to-end trainable neural dialog system with reinforcement learning, named SUMBT+LaRL. The SUMBT+ estimates user-acts as well as dialog belief states, and the LaRL models latent system action spaces and generates responses given the estimated contexts. We experimentally demonstrate that the training framework in which the SUMBT+ and LaRL are separately pretrained and then the entire system is fine-tuned significantly increases dialog success rates. We propose new success criteria for reinforcement learning to the end-to-end dialog system as well as provide experimental analysis on a different result aspect depending on the success criteria and evaluation methods. Consequently, our model achieved the new state-of-the-art success rate of 85.4% on corpus-based evaluation, and a comparable success rate of 81.40% on simulator-based evaluation provided by the DSTC8 challenge.

研究の動機と目的

• コンponentレベルのモデリングの進展にもかかわらず、ニューラルタスク指向対話システム全体のパフォーマンス最適化の課題に対処すること。
• 強化学習を統合したエンド・ツー・エンドで学習可能なアーキテクチャを構築すること。
• 事前学習と共同ファインチューニングの2段階トレーニングフレームワークを用いて、対話成功確率を向上させること。
• エンド・ツー・エンド対話システムにおける強化学習に特化した、新たな成功基準と評価手法を提案すること。

提案手法

• SUMBT+コンponentは、ニューラルシーケンスモデルを用いてユーザーアクションを推定し、対話中のベリーフステートを維持する。
• LaRLコンponentは、顔料的システムアクション空間をモデリングし、文脈に応じた応答を強化学習フレームワークを用いて生成する。
• 本システムは2段階のトレーニング戦略を採用する：SUMBT+とLaRLを独立して事前学習し、その後、エンド・ツー・エンドで全体モデルをファインチューニングする。
• 強化学習を用いて全体の対話ポリシーを最適化し、新たな成功基準に基づいた報酬形状を適用する。
• ベリーフステート推定と応答生成を1つの統合的で共同で学習可能なフレームワークに統合する。
• エンド・ツー・エンド対話システムにおけるタスク完了に適した、成功基準を再定義する。

実験結果

リサーチクエスチョン

• RQ1 初期から共同学習するのと比較して、2段階の事前学習とファインチューニング戦略は、エンド・ツー・エンド対話システムのパフォーマンス向上に寄与するか？
• RQ2 異なる成功基準は、強化学習ベースの対話システムの評価とトレーニングにどのように影響するか？
• RQ3 LaRLにおける顔料的アクションモデリングは、タスク指向対話における応答品質とタスク成功確率をどの程度向上できるか？
• RQ4 1つのエンド・ツー・エンドフレームワークにベリーフトラッキングと応答生成を統合することで、成功確率が向上するか？
• RQ5 本稿で提案するシステムは、コーパスベースおよびシミュレータベース評価において、最先端のモデルと比較してどのように差をつけるか？

主な発見

• 提案されたSUMBT+LaRLシステムは、コーパスベース評価で85.4%という、新たな最先端の成功確率を達成した。
• DSTC8ベンチマークを用いたシミュレータベース評価では、81.40%の成功確率を達成し、優れた一般化性能を示した。
• 2段階トレーニング戦略（事前学習→エンド・ツー・エンドファインチューニング）は、他のトレーニング方式と比較して、対話成功確率を顕著に向上させた。
• 新たな成功基準の導入により、強化学習ベースの対話システムの評価がより信頼性があり意味のあるものになった。
• 本モデルは、コーパスベースおよびシミュレータベース評価の両方で、既存手法を上回り、その有効性を確認した。