[論文レビュー] Attention over Parameters for Dialogue Systems

Andrea Madotto, Zhaojiang Lin+3 more|arXiv (Cornell University)|Jan 7, 2020

Topic Modeling参考文献 74被引用数 25

ひとこと要約

本論文では、対話スキル（例：SQLクエリ、パーソナベースの応答生成、タスク固有の対話）を独立してパラメータ化する、Transformerベースのアーキテクチャであるパラメータ上の注意（AoP）を提案する。ドメインおよびスキルメタデータに基づいて情報が供給されるゲーティング機構を介して入力を関連するエキスパートに動的にルーティングすることで、AoPはより高速な推論、向上した解釈可能性、およびMultiWOZ、In-Car Assistant、Persona-Chatデータセットの統合ベンチマークにおける競争力のある性能を達成する。

ABSTRACT

Dialogue systems require a great deal of different but complementary expertise to assist, inform, and entertain humans. For example, different domains (e.g., restaurant reservation, train ticket booking) of goal-oriented dialogue systems can be viewed as different skills, and so does ordinary chatting abilities of chit-chat dialogue systems. In this paper, we propose to learn a dialogue system that independently parameterizes different dialogue skills, and learns to select and combine each of them through Attention over Parameters (AoP). The experimental results show that this approach achieves competitive performance on a combined dataset of MultiWOZ, In-Car Assistant, and Persona-Chat. Finally, we demonstrate that each dialogue skill is effectively learned and can be combined with other skills to produce selective responses.

研究の動機と目的

• エンドツーエンド対話システムを同時に目的指向タスクと雑談対話の両方を処理できるように訓練するという課題に対処すること。
• 固定の共有パラメータモデルの限界を克服し、応答生成における解釈可能性と制御可能性を欠いていること。
• 単一の統合アーキテクチャ内での、専門的対話スキル（例：データベースクエリ、パーソナベースの応答）の動的かつ選択的組み合わせを可能にすること。
• すべてのエキスパートを計算するのではなく、関連するエキスパートパラメータにのみ入力をルーティングすることで、推論効率とモデルの解釈可能性を向上させること。
• MultiWOZ、In-Car Assistant、Persona-Chatデータセットを統合した新しい統合ベンチマークを用いて、マルチドメイン・マルチスキル対話の評価を実施すること。

提案手法

• モデルは標準のTransformerエンコーダ・デコーダアーキテクチャを採用し、入力系列 $X = [D; M]$ を使用する。ここで $D$ は対話履歴、$M$ は動的メモリ（例：SQLクエリ結果）を表す。
• 各対話スキル（例：SQL生成、パーソナ応答、予約）は、別個のデコーダパラメータ（エキスパート）としてエンコードされ、ゲーティング関数を用いて入力を適切なエキスパートにルーティングする方法を学習する。
• ゲーティング機構は、ドメインやスキルタイプなどの入力特徴に条件付けられており、表現ではなくパラメータに対する注目を実現する。
• 全エキスパートを通過する完全な前向き伝搬を回避し、代わりに関連するパラメータセットを直接選択して適用することで、アルゴリズム的効率性を達成する。
• モデルは、MultiWOZ、In-Car Assistant、Persona-Chatの統合データセット上でエンドツーエンドに訓練され、バイナリスキルベクトル $V$ を用いて必要なスキルをラベルとして指定する。
• 複数のエキスパートパラメータを組み合わせることで、複雑なマルチスキル応答（例：SQLクエリの生成とその後のパーソナベースの返答）のコンポジショナル生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 1つのエンドツーエンド対話モデルが、データベースクエリ生成やパーソナベース生成といった、明確に異なる複数の対話スキルを効果的に学習し、組み合わせることができるか？
• RQ2 入力に依存するエキスパート選択（パラメータ上の注意）に基づくルーティングは、標準のMixture-of-Expertsと比較して推論効率を向上させるか？
• RQ3 タスク固有のアーキテクチャ変更なしに、目的指向と雑談対話データセットの統合ベンチマークで競争力のある性能を達成できるか？
• RQ4 モデルの内部エキスパートパラメータが、入力に応じたルーティングにより、独立的かつ専門的なスキルとして解釈可能かつ制御可能である程度はどの程度か？
• RQ5 ゼロショットでのスキルの組み合わせに一般化できることから、対話生成におけるコンポジショナル一般化が示せるか？

主な発見

• 提案されたパラメータ上の注意（AoP）モデルは、MultiWOZ、In-Car Assistant、Persona-Chatの統合ベンチマークで競争力のある性能を達成し、多様な対話スキルの効果的な共同学習を示した。
• AoPは、すべてのエキスパートを完全に計算するのではなく、選択されたエキスパートパラメータのみを適用することで、アルゴリズム的効率性を実現し、推論コストを低減する。
• モデル内の各エキスパートは、明確に区別された対話スキル（例：SQL生成、パーソナ応答）に対応しており、ドメインおよびスキルメタデータに基づくルーティングにより、その活性化は解釈可能かつ制御可能である。
• モデルは、複数のエキスパートパラメータを組み合わせることで、コンポジショナル応答を効果的に生成でき、たとえば1ターンでデータベースクエリを発行し、その後の応答を生成する。
• モデルは強力な一般化能力と解釈可能性を示し、各スキルが効果的に学習され、他のスキルと独立して組み合わせて使用可能である。
• アブレーションスタディにより、ドメインおよびスキルメタデータに基づくゲーティング機構が、ベースラインのルーティング戦略よりも顕著に性能を向上させることを確認した。