[論文レビュー] Learning a Simple and Effective Model for Multi-turn Response Generation with Auxiliary Tasks

Yufan Zhao, Can Xu+2 more|arXiv (Cornell University)|Apr 4, 2020

Topic Modeling参考文献 34被引用数 14

ひとこと要約

本論文は、モデルの複雑さを増さずに文脈理解を向上させるために、語順回復、発話順序回復、マスク語回復、マスク発話回復の4つの補助的タスクを活用する、シンプルで効果的なトランスフォーマー基盤のマルチターン応答生成モデルを提案する。このアプローチは、ReCoSaなどの深層モデルよりも最大2倍速いデコード速度を達成しながら、3つのベンチマークで最先端の応答品質を実現した。

ABSTRACT

We study multi-turn response generation for open-domain dialogues. The existing state-of-the-art addresses the problem with deep neural architectures. While these models improved response quality, their complexity also hinders the application of the models in real systems. In this work, we pursue a model that has a simple structure yet can effectively leverage conversation contexts for response generation. To this end, we propose four auxiliary tasks including word order recovery, utterance order recovery, masked word recovery, and masked utterance recovery, and optimize the objectives of these tasks together with maximizing the likelihood of generation. By this means, the auxiliary tasks that relate to context understanding can guide the learning of the generation model to achieve a better local optimum. Empirical studies with three benchmarks indicate that our model can significantly outperform state-of-the-art generation models in terms of response quality on both automatic evaluation and human judgment, and at the same time enjoys a much faster decoding process.

研究の動機と目的

• 深層アーキテクチャを用いない軽量なニューラルモデルを構築し、マルチターン対話応答生成において高いパフォーマンスを維持すること。
• 文脈理解を補助学習タスクに移譲することで、階層的または深層トランスフォーマー符号化器への依存を低減すること。
• 生成タスクと文脈に配慮した補助タスクの共同最適化を通じて、応答品質を向上させること。
• 自動評価および人間評価の両面で最先端のモデルを上回りながら、より高速な推論速度を達成すること。

提案手法

• モデルは1層の自己注意符号化器と1層の文脈注意デコーダーを用い、軽量なシーケンス・トゥ・シーケンスアーキテクチャを形成する。
• 4つの補助タスクを導入：語順回復、発話順序回復、マスク語予測、マスク発話予測。これらは文脈表現学習の向上を目的としている。
• すべてのタスクは同じ符号化器を共有し、応答生成のための最大尤度推定（MLE）とともに共同最適化される。
• 補助タスクは、文脈における順序的依存関係と意味的整合性を強調することで、モデルがより良い局所的表現を学習できるように導く。
• MLEと4つの補助損失を組み合わせたマルチタスク目的関数を用いて、エンドツーエンドでモデルを訓練する。
• アーキテクチャは、Ubuntu Dialogue Corpus、DailyDialog、PERSONA-CHATの3つのベンチマークで評価された。

実験結果

リサーチクエスチョン

• RQ1 最小限のパラメータ数で実装されるシンプルなニューラルアーキテクチャが、深層で複雑なモデルを上回る性能を発揮できるか？
• RQ2 補助タスクが軽量モデルにおける文脈理解をどの程度向上させるか？
• RQ3 応答品質と推論速度の両面で、提案モデルは最先端のモデルと比べてどの程度優れているか？
• RQ4 補助タスクは浅層モデルに対して、深層モデルに対してより効果的か？
• RQ5 異なる対話データセットにおいて、どの補助タスクがパフォーマンス向上に最も寄与しているか？

主な発見

• 提案モデルは、ReCoSa、HRAN、HREDといった最先端モデルと比較して、3つのベンチマークすべてにおいて自動評価および人間評価の両方の指標で優れた性能を示した。
• PERSONA-CHATデータセットでは、SSNに対して49%の勝率、ReCoSaに対して39%の勝率を記録し、それぞれKappa係数が0.695および0.566に達した。
• DailyDialog、PERSONA-CHAT、Ubuntuデータセットでは、それぞれ4層、6層、7層のトランスフォーマー符号化器と同等の性能を達成した。これは、極めて浅い構造でも強力な表現能力を有することを示している。
• HREDよりパラメータ数が少ないにもかかわらず、ReCoSaよりも2倍速いデコード速度を達成しており、その効率的利点が顕著に表れている。
• アブレーションスタディの結果、補助タスクをいずれか1つでも削除すると性能が低下し、特にDailyDialogおよびUDCでは順序回復タスクがより重要であることが判明。一方、PERSONA-CHATでは語レベルの回復タスクがより重要であった。
• 補助タスクは浅層モデルに対してより効果的である。モデルの深さが増すとその影響は薄れるため、効率的かつ効果的な学習を可能にする役割を果たしていることが確認された。