[論文レビュー] A Modular Task-oriented Dialogue System Using a Neural Mixture-of-Experts

Jiahuan Pei, Pengjie Ren+1 more|arXiv (Cornell University)|Jul 10, 2019

Topic Modeling参考文献 30被引用数 19

ひとこと要約

本論文は、トークンレベルでのニューラルMixture-of-Experts（TokenMoE）を用いたモジュラータスク指向対話システム（MTDS）を提案する。このシステムでは、会話の文脈に応じて、専門的なエキスパートボットから動的に応答を生成するためのチェアボットが選択を行う。MultiWOZベンチマーク上での評価において、統合学習とグローバル・ローカル学習方式を活用することで、単一モジュールベースライン比で情報提供率（inform rate）が8.1%向上、成功率（success rate）が0.8%向上する。

ABSTRACT

End-to-end Task-oriented Dialogue Systems (TDSs) have attracted a lot of attention for their superiority (e.g., in terms of global optimization) over pipeline modularized TDSs. Previous studies on end-to-end TDSs use a single-module model to generate responses for complex dialogue contexts. However, no model consistently outperforms the others in all cases. We propose a neural Modular Task-oriented Dialogue System(MTDS) framework, in which a few expert bots are combined to generate the response for a given dialogue context. MTDS consists of a chair bot and several expert bots. Each expert bot is specialized for a particular situation, e.g., one domain, one type of action of a system, etc. The chair bot coordinates multiple expert bots and adaptively selects an expert bot to generate the appropriate response. We further propose a Token-level Mixture-of-Expert (TokenMoE) model to implement MTDS, where the expert bots predict multiple tokens at each timestamp and the chair bot determines the final generated token by fully taking into consideration the outputs of all expert bots. Both the chair bot and the expert bots are jointly trained in an end-to-end fashion. To verify the effectiveness of TokenMoE, we carry out extensive experiments on a benchmark dataset. Compared with the baseline using a single-module model, our TokenMoE improves the performance by 8.1% of inform rate and 0.8% of success rate.

研究の動機と目的

• 単一モジュールのエンドツーエンド対話システムには、多様な会話文脈に一般化できないという限界があるため、それを是正すること。
• 既存のエンドツーエンドモデルに見られるモデルの専門性不足とトレーサビリティの欠如を、エキスパートボットを備えたモジュラーフレームワークを導入することで克服すること。
• トークンレベルでの文脈に応じた動的選択を可能にすることで、応答生成の質を向上させること。
• グローバル最適化（チェアボット）とローカル専門性（エキスパートボット）のバランスを取るグローバル・ローカル学習アプローチを通じて、トレーニング方式を開発すること。

提案手法

• MTDSフレームワークは、チェアボットと、特定の意図、ドメイン、またはシステムアクションに特化した複数のエキスパートボットから構成される。
• TokenMoEは、すべてのエキスパートボットに対してタイムスティルで複数のトークン予測を生成し、その出力を重み付き統合によって評価することで、チェアボットが最終出力を選択する。
• グローバル・ローカル学習方式が採用されている：ローカライズドエキスパート損失は各エキスパートが割り当てられた意図に特化するよう促進し、グローバルチェア損失はエキスパート間の誤差寄与度を区別する。
• チェアボットとエキスパートボットは、グローバル応答生成と各エキスパートの専門性の両方を目的としたクロスエントロピー損失の組み合わせにより、エンドツーエンドで共同学習される。
• モデルは、会話履歴を処理し、文脈に適した予測を生成するために、アテンション機構とRNNベースのエンコーダーを用いる。
• フレームワークは、情報提供率（Inform）、成功率（Success）、BLEU、Scoreといった標準指標を用いて、MultiWOZベンチマークで評価されている。

実験結果

リサーチクエスチョン

• RQ1 エキスパートの専門性を持つモジュラータスク指向対話システムは、複雑なマルチドメイン対話において、統合された単一モデルを上回る性能を発揮できるか？
• RQ2 トークンレベルでの動的かつ文脈に応じたエキスパートモデル選択は、応答品質とタスク成功率を向上させることができるか？
• RQ3 グローバル損失とローカル損失の両方を含む共同学習スキームは、エキスパートの専門性と全体のシステムパフォーマンスのバランスを効果的に取ることができるか？
• RQ4 エンドツーエンドの単一モジュールシステムと比較して、提案されたMTDSフレームワークは、エラーのトレーサビリティとモデルの解釈可能性をどのように向上させるか？

主な発見

• TokenMoEは、最良の単一モジュールベースライン（S2SAttnLSTM/V2）と比較して、情報提供率が8.1%向上、成功率が0.8%向上した。
• TokenMoEは、標準的なS2SAttnLSTMベースラインと比較して、情報提供率で3.5%、成功率で4.2%顕著に向上した。
• グローバル・ローカル学習方式は、エキスパートの専門性と全体のシステム最適化の両方を効果的に向上させたことが、指標スコアの向上によって裏付けられた。
• モジュラー設計により、誤りを特定のエキスパートボットまたはチェアボットに帰属づけることが可能になり、より良いエラーのトレーサビリティが実現された。
• 実証的結果から、すべての指標で常に優れる単一のモデルが存在しないことが確認され、Mixture-of-Expertsアプローチの有効性が裏付けられた。
• フレームワークは優れた一般化性能と適応性を示しており、文レベルやハイブリッドエキスパートモデルへの応用拡張の可能性を示唆している。