[論文レビュー] MinTL: Minimalist Transfer Learning for Task-Oriented Dialogue Systems

Zhaojiang Lin, Andrea Madotto+2 more|arXiv (Cornell University)|Sep 25, 2020

Topic Modeling参考文献 52被引用数 13

ひとこと要約

本論文は、T5 や BART などの事前学習済みシーケンス・ツー・シーケンス・モデルを用いて、対話状態追跡（DST）と応答生成を統合的に学習する最小限の転移学習フレームワーク MinTL を提案する。Levenshtein belief spans（Lev）を導入することで生成長を短縮し、推論遅延を低減し、MultiWOZ で訓練データの 20% を使用しても最先端の性能を達成するとともに、従来手法比で 15 倍高速な推論を実現した。

ABSTRACT

In this paper, we propose Minimalist Transfer Learning (MinTL) to simplify the system design process of task-oriented dialogue systems and alleviate the over-dependency on annotated data. MinTL is a simple yet effective transfer learning framework, which allows us to plug-and-play pre-trained seq2seq models, and jointly learn dialogue state tracking and dialogue response generation. Unlike previous approaches, which use a copy mechanism to "carryover" the old dialogue states to the new one, we introduce Levenshtein belief spans (Lev), that allows efficient dialogue state tracking with a minimal generation length. We instantiate our learning framework with two pre-trained backbones: T5 and BART, and evaluate them on MultiWOZ. Extensive experiments demonstrate that: 1) our systems establish new state-of-the-art results on end-to-end response generation, 2) MinTL-based systems are more robust than baseline methods in the low resource setting, and they achieve competitive results with only 20\% training data, and 3) Lev greatly improves the inference efficiency.

研究の動機と目的

• タスク固有のモジュールを排除することで、タスク指向対話システムの設計を単純化すること。
• 効果的な転移学習により、大規模なアノテート済み対話データへの依存度を低減すること。
• パフォーマンスを損なわず、対話状態追跡における推論効率を向上させること。
• 事前学習済みシーケンス・ツー・シーケンス・モデルを用いて、対話状態追跡と応答生成をエンド・ツー・エンドで統合的に学習できること。
• 最小限の訓練データで高い性能を維持できるロバスト性を示すこと。

提案手法

• MinTL は、T5 や BART などの事前学習済みシーケンス・ツー・シーケンス・モデルを統合するプラグアンドプレイ型アーキテクチャを採用し、対話状態追跡と応答生成を統合的に処理する。
• 旧状態と新状態の差異のみをモデル化する Levenshtein belief spans（Lev）を導入し、生成長を最小限に抑える。
• フレームワークはまず、状態更新のための Lev トークンを生成し、その後更新された状態を用いて知識を取得し、応答を生成する。
• 応答デコーダーは、対話文脈と取得した知識の両方に条件付けられており、自然で文脈的に正確な応答を生成する。
• Lev により、状態更新のための最小限のトークン生成が可能となり、推論遅延が顕著に低減される。
• 本手法はさまざまな事前学習バックボーンと互換性があり、コピーメカニズムや分類器などのタスク固有モジュールを必要としない。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のモジュールを一切含まない最小限の転移学習フレームワークで、対話状態追跡と応答生成を統合的に最適化できるか？
• RQ2 Levenshtein belief spans（Lev）機構は、対話状態追跡における推論効率をどのように向上させるか？
• RQ3 訓練データの 20% のみで、MinTL がどれほど高い性能を維持できるか？
• RQ4 Joint goal accuracy と推論速度の両面で、MinTL は最先端モデルと比較してどのように差をつけるか？
• RQ5 T5 や BART などの事前学習済みシーケンス・ツー・シーケンス・モデルは、最小限のアーキテクチャ変更でエンド・ツー・エンドのタスク指向対話に効果的に適応可能か？

主な発見

• MinTL に BART-large を使用した場合、MultiWOZ 2.1 で 53.62% の joint goal accuracy を達成し、生成ベースの対話状態追跡において新たな最先端性能を樹立した。
• MultiWOZ 2.0 では、MinTL（T5-base）が 52.07% の joint goal accuracy を達成し、以前の最先端モデルを上回った。
• 訓練データの 20% のみで、MinTL ベースのシステムは競争力のある性能を示しており、低リソース環境下でも強いロバスト性を示した。
• MinTL（T5-small）は、1ターンあたりの推論遅延を 49.26ms にまで短縮し、Sequicity より 15.58 倍高速、TRADE より 2.12 倍高速な性能を達成した。
• Lev 機構により、1ターンあたりの生成トークン数の平均が 6.58 にまで低下し、従来手法と比較して顕著に推論効率が向上した。
• MinTL は、SST や TRADE といった非生成型モデルよりも精度と速度の両面で優れており、最小限の生成でエンド・ツー・エンド学習が有効であることを示した。