[論文レビュー] Joint System-Wise Optimization for Pipeline Goal-Oriented Dialog System

Zichuan Lin, Jing Huang+3 more|arXiv (Cornell University)|Jun 9, 2021

Topic Modeling参考文献 44被引用数 4

ひとこと要約

本稿では、パイプライン指向対話システムのための統合的システムワイド最適化を提案し、NLU学習のための自動データ拡張、より良い探索を実現するポisson分布に従う確率的方策、成功した対話ターンに向けた報酬ボーナスを導入している。この手法は、MultiWOZ 2.1においてシステムワイド評価で93.8%の成功率を達成し、人間評価でも先行研究より16%高い成功率を記録した。

ABSTRACT

Recent work (Takanobu et al., 2020) proposed the system-wise evaluation on dialog systems and found that improvement on individual components (e.g., NLU, policy) in prior work may not necessarily bring benefit to pipeline systems in system-wise evaluation. To improve the system-wise performance, in this paper, we propose new joint system-wise optimization techniques for the pipeline dialog system. First, we propose a new data augmentation approach which automates the labeling process for NLU training. Second, we propose a novel stochastic policy parameterization with Poisson distribution that enables better exploration and offers a principled way to compute policy gradient. Third, we propose a reward bonus to help policy explore successful dialogs. Our approaches outperform the competitive pipeline systems from Takanobu et al. (2020) by big margins of 12% success rate in automatic system-wise evaluation and of 16% success rate in human evaluation on the standard multi-domain benchmark dataset MultiWOZ 2.1, and also outperform the recent state-of-the-art end-to-end trained model from DSTC9.

研究の動機と目的

• 個々のモジュールの改善がシステム全体のパフォーマンス向上に繋がらないパイプライン対話システムにおけるボトル neck を解消すること。
• 対話行動から逆方向の自然言語生成によるラベル付けの自動化により、NLU学習におけるデータ不足を克服すること。
• ポアソン分布を用いた新しい確率的方策パラメータ化により、探索の質を向上させ、成功確率を向上させること。
• 成功した対話経路の探索を促進する報酬ボーナスを導入することで、システム全体の成功確率を向上させること。
• MultiWOZ 2.1における自動評価および人間評価の両面で、競合するパイプラインシステムおよび最先端のエンドツーエンドモデルを上回ること。

提案手法

• 対話行動から自然言語生成（NLG）モデルを用いて多様な発話文を生成するデータ拡張技術を提案し、その合成発話文-行動ペアでNLUを学習させる。
• 対話行動の数を制御できるポアソン分布に従う確率的方策ネットワークを導入し、訓練中のより効果的な探索を可能にする。
• 成功した対話ターンの探索を促進する報酬ボーナス機構を設計し、下流のNLUにおける誤りを低減し、方策の一般化性能を向上させる。
• DSTおよびNLGモジュールをルールベースのベースラインと同様に固定したまま、NLUと方策モジュールを統合的システムワイド最適化フレームワークで同時に学習する。
• データベースのスロット一致に基づいて成功率を測定するアジェンダベースのユーザシミュレータを用いたシステムワイド評価プロトコルを採用する。
• 提案された確率的方策と報酬ボーナスを用いたポリシー勾配法を用い、システムレベルの成功を最適化するエンドツーエンドの学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 パイプライン指向対話システムにおける主なボトル neck は何か？ すなわち、モジュールレベルの改善がシステム全体のパフォーマンス向上に繋がらない理由は何か？
• RQ2 逆方向NLG生成に基づく自動データ拡張は、リソースが限られた環境下でNLUパフォーマンスを顕著に向上させられるか？
• RQ3 ポアソン分布に従う確率的方策パラメータ化は、決定的または標準的な確率的方策と比較して、より良い探索と高い成功率をもたらすか？
• RQ4 成功した対話ターンの探索を促進する報酬ボーナスは、方策の一般化性能とシステム全体の成功確率を向上させられるか？
• RQ5 NLUと方策の統合的システムワイド最適化は、マルチドメインで現実世界の評価環境において、最先端のエンドツーエンドモデルを上回る性能を示せるか？

主な発見

• 提案手法は、MultiWOZ 2.1における自動システムワイド評価で93.8%の成功率を達成し、ルールベースのベースラインから12ポイント高い性能を示した。
• 人間評価では、ルールベースシステムよりも16%高い成功率を記録し、実世界での優れた性能を示した。
• アブレーションスタディの結果、データ拡張のみで成功率が10ポイント向上したため、NLUがパイプラインシステムにおける主なボトル neck であることが明らかになった。
• ポアソン分布に従う方策は、ベースライン方策に比べて3%の成功率向上を達成し、行動選択における制御された確率性の利点を示した。
• 報酬ボーナスは追加で3%の向上をもたらし、成功した経路の探索を促進することで学習効率が向上することを示した。
• S-PPOモデルはマルチドメインタスクに良好にスケーリングされ、ドメイン数が1から3に増加しても高いパフォーマンスを維持した。一方、ベースライン手法は著しく性能を低下させた。