[論文レビュー] Multi-Task Learning for Situated Multi-Domain End-to-End Dialogue Systems

Po-Nien Kung, Chung‐Cheng Chang+4 more|arXiv (Cornell University)|Oct 11, 2021

Topic Modeling参考文献 19被引用数 5

ひとこと要約

本稿では、1つのGPT-2ベースのモデルを用いて、状況的で多領域かつエンドツーエンドの対話システムにおいて、信念状態トラッキング、応答生成、アクション予測を統合的に実行するマルチタスク学習フレームワークを提案する。入力の変更としてアクションのグランドイングやマスクド履歴損失を組み込むことで、1つの統合アーキテクチャでファニチャーおよびファッションの両分野において最先端の性能を達成した。

ABSTRACT

Task-oriented dialogue systems have been a promising area in the NLP field. Previous work showed the effectiveness of using a single GPT-2 based model to predict belief states and responses via causal language modeling. In this paper, we leverage multi-task learning techniques to train a GPT-2 based model on a more challenging dataset with multiple domains, multiple modalities, and more diversity in output formats. Using only a single model, our method achieves better performance on all sub-tasks, across domains, compared to task and domain-specific models. Furthermore, we evaluated several proposed strategies for GPT-2 based dialogue systems with comprehensive ablation studies, showing that all techniques can further improve the performance.

研究の動機と目的

• モジュール型でタスク特化された対話システムの限界を解消するため、信念状態トラッキング、応答生成、アクション予測を1つのエンドツーエンドモデルに統合すること。
• マルチタスク学習による知識の転送を活用することで、多領域・多モダリティな対話システムの性能を向上させること。
• 統合されたテキストトゥテキストフレームワークにおいて、生成および分類の性能を向上させる有効な入力変更とトレーニング戦略を検討すること。
• 1つのGPT-2モデルが、多様な対話サブタスクにおいて、タスクおよびドメイン特化モデルを上回ることを示すこと。
• 反復的予測と入力工学を組み合わせたマルチタスクトレーニングが、複雑で現実的な対話シナリオにおいて有効であることを検証すること。

提案手法

• モデルは、対話履歴と多モダリティ入力（ユーザー発話、視覚的オブジェクト、アクション情報）を処理するための共有GPT-2エンコーダを使用する。
• モデルは、タスク固有のプレフィックスと自己回帰的生成を用いて、信念状態、応答、アクションを順次予測する順次的マルチタスクトレーニング目的を採用する。
• 主な入力変更には、応答をアクショントークンにグランドイングすることと、信念状態を意図とスロットに分割することで、より明確な区別を図ることを含む。
• モデルは、トレーニング中に過去の対話ターンをマスクするマスクド履歴損失（MHL）を適用し、文脈モデリングと一般化性能の向上を図る。
• セグメント埋め込みを用いて、異なる対話ターンを区別するが、アブレーション実験では性能にほとんど影響を与えないことが判明した。
• 両方の分野（ファッションとファニチャー）のデータセットを共同で微調整することで、マルチドメイントレーニングを可能にし、リソースが限られたドメインの性能向上を実現した。

実験結果

リサーチクエスチョン

• RQ1 1つのGPT-2ベースのモデルが、多領域・多モダリティな状況下で、信念状態トラッキング、応答生成、アクション予測という複数の対話サブタスクを同時に効果的に処理できるか？
• RQ2 アクショントークンの追加や信念状態の分割といった入力変更が、異なるドメインにおけるモデル性能にどのように影響するか？
• RQ3 マルチドメイントレーニングは、特にリソースが限られたファッションドメインにおいて、どの程度性能を向上させるか？
• RQ4 マスクド履歴損失は、エンドツーエンド対話システムにおける生成および分類タスクの性能を向上させるか？
• RQ5 テキストトゥテキスト生成は、複雑なマルチラベルアクションおよび属性予測タスクに効果的に適用可能で、競争力のある正確性を達成できるか？

主な発見

• すべての提案された特徴を備えた完全なモデルは、すべてのサブタスクおよびドメインで最良の性能を達成し、ベースラインモデルおよびタスク特化アーキテクチャを上回った。
• 入力にアクション情報を追加することで、応答生成および信念状態トラッキングの性能が著しく向上し、特にファッションドメインで顕著な性能低下が発生する（削除時）ことが判明した。
• マルチドメイントレーニングにより、リソースが限られたファッションドメインの性能が向上し、両ドメインにおけるAPIおよび信念状態予測の性能向上にも寄与した。
• マスクド履歴損失は、生成タスクにおいて一貫して性能を向上させるとともに、分類タスクに対しても、特にファッションデータセットで利点を示した。
• ファッション属性予測において、驚異的な79％の正確度を達成し、テキストトゥテキスト生成が複雑なマルチラベル分類タスクに実用的であることを示した。
• より小さなモデル（gpt2-small）と2ターンの履歴しか使用しないにもかかわらず、強力な性能を達成しており、より大きなモデルや長いコンテキストを用いることでスケーラビリティの可能性が示された。