[論文レビュー] Multi-Domain Dialogue Acts and Response Co-Generation

Kai Wang, Junfeng Tian+3 more|arXiv (Cornell University)|Apr 26, 2020

Topic Modeling参考文献 29被引用数 6

ひとこと要約

本稿では、タスク指向対話における対話行動と応答を同時に生成するニューラル共同生成モデルを提案する。このモデルは、階層的な行動構造を保持し、応答生成から行動への動的アテンションを可能にする。不確実性損失を用いて適応的タスク重み付けを実現し、MultiWOZで最先端の性能を達成しており、自動評価および人的評価の両面で先行手法を上回っている。

ABSTRACT

Generating fluent and informative responses is of critical importance for task-oriented dialogue systems. Existing pipeline approaches generally predict multiple dialogue acts first and use them to assist response generation. There are at least two shortcomings with such approaches. First, the inherent structures of multi-domain dialogue acts are neglected. Second, the semantic associations between acts and responses are not taken into account for response generation. To address these issues, we propose a neural co-generation model that generates dialogue acts and responses concurrently. Unlike those pipeline approaches, our act generation module preserves the semantic structures of multi-domain dialogue acts and our response generation module dynamically attends to different acts as needed. We train the two modules jointly using an uncertainty loss to adjust their task weights adaptively. Extensive experiments are conducted on the large-scale MultiWOZ dataset and the results show that our model achieves very favorable improvement over several state-of-the-art models in both automatic and human evaluations.

研究の動機と目的

• パイプライン手法の限界に対処すること。具体的には、対話行動構造を無視し、行動と応答の間の意味的関連性を無視する点。
• 分類タスクではなく、系列生成タスクとして対話行動予測をモデル化することで、応答品質の向上を図ること。
• クロスアテンション機構を用いて、応答生成と対話行動生成の間で動的相互作用を可能にすること。
• 手動で調整された損失重みに依存するのを減らすために、共同学習中に適応的タスク重み付けを実現する不確実性損失の導入。

提案手法

• 対話行動予測を、グローバルなベクトル表現ではなく、階層的構造（ドメイン-行動-スロット）を保持する系列生成問題として扱う。
• 応答生成がクロスアテンション機構を介して関連する対話行動に動的に注目できる共同生成フレームワークを導入する。
• 対話行動生成と応答生成の最適な損失重みを自動で学習するために不確実性損失を採用し、ハイパーパramータのチューニングへの感受性を低減する。
• 不確実性に基づく適応的重み付けを用いたマルチタスク学習目的関数により、両モジュールを共同で訓練する。
• 自己アテンションおよびクロスアテンションを備えたトランスフォーマーに基づくアーキテクチャを、行動生成および応答生成の両方で採用し、系列モデリングを可能にする。
• 生成応答におけるトークンレベルの繰り返しを軽減するカバレッジ機構を適用する。

実験結果

リサーチクエスチョン

• RQ1 対話行動予測を系列生成タスクとしてモデル化することで、階層的行動構造のモデリングが向上し、応答品質が向上するか？
• RQ2 応答生成から対話行動への動的クロスアテンションは、応答の関連性および情報量をどのように向上させるか？
• RQ3 不確実性損失を用いた適応的損失重み付けは、固定または手動で調整された重みよりも優れた共同学習性能を達成するか？
• RQ4 提案された共同生成モデルは、大規模ベンチマーク上で自動評価および人的評価の両面で最先端手法を上回るか？

主な発見

• 提案モデルは、MultiWOZ 2.1データセットにおいて、自動評価および人的評価の両面で複数の最先端手法を上回った。
• 人的評価では、HDSAと比較して65%の完了比較で勝利し、94%の読みやすさ比較で同率となった。
• モデルはより情報豊かな応答を生成し、ホテルの種別やチケット数などのユーザー要求を正しく処理し、フォローアップ質問を必要としなかった。
• 不確実性損失は、複数の重み設定において、加重和損失と比較して一貫して優れた性能を示し、効果的な適応的タスクバランスを実証した。
• パイプライン手法とは異なり、共同学習を可能にすることで誤り伝播を低減した。
• 分析の結果、モデルはややトークンレベルの繰り返しを示す傾向にあったが、カバレッジ機構によりこれを軽減可能であることが判明した。