[論文レビュー] A Simple Language Model for Task-Oriented Dialogue

Ehsan Hosseini-Asl, Bryan McCann+3 more|arXiv (Cornell University)|May 2, 2020

Topic Modeling参考文献 62被引用数 159

ひとこと要約

SimpleTOD は、すべてのタスク指向対話のサブタスクをエンドツーエンドで処理する単一の因果言語モデルを使用し、MultiWOZ における対話状態追跡とエンドツーエンド指標で最先端の結果を達成します。

ABSTRACT

Task-oriented dialogue is often decomposed into three tasks: understanding user input, deciding actions, and generating a response. While such decomposition might suggest a dedicated model for each sub-task, we find a simple, unified approach leads to state-of-the-art performance on the MultiWOZ dataset. SimpleTOD is a simple approach to task-oriented dialogue that uses a single, causal language model trained on all sub-tasks recast as a single sequence prediction problem. This allows SimpleTOD to fully leverage transfer learning from pre-trained, open domain, causal language models such as GPT-2. SimpleTOD improves over the prior state-of-the-art in joint goal accuracy for dialogue state tracking, and our analysis reveals robustness to noisy annotations in this setting. SimpleTOD also improves the main metrics used to evaluate action decisions and response generation in an end-to-end setting: inform rate by 8.1 points, success rate by 9.7 points, and combined score by 7.2 points.

研究の動機と目的

• タスク指向対話を単一のシーケンス予測問題として再定義する。
• TOD のための事前学習済みオープンドメイン因果言語モデル（例：GPT-2）を活用する。
• サブタスク全体をエンドツーエンドで統一モデルとして学習させ、誤差伝播を低減する。
• ノイズのあるアノテーションに対する頑健性を示し、再現のためのコード/データを提供する。
• トークン設計と事前学習の TOD 性能への影響の分析を提供する。

提案手法

• 結合された TOD シーケンス x^t = [C_t; B_t; D_t; A_t; S_t] 上で単一のTransformerベースの因果言語モデルを訓練する。
• 対話コンテキスト、信念状態、データベース結果、アクション、デレックス化された応答を単一の生成タスクとして表現する。
• 事前学習済み重み（DistilGPT2/GPT-2）から初期化し、事前学習済みのBPEでトークン化する；1024トークンを超えるシーケンスを切り捨てる。
• ユーザー/システム区分を区切る特別トークンと、生成を導くエンドオブセグメントマーカーを使用する。
• MultiWOZ 2.0/2.1 でエンドツーエンド環境で評価し、ジョイントDST精度とエンドツーエンド指標（Inform、Success、BLEU、Combined）を報告する。
• 最小限の監視で単方向デコーダが前述のモジュラー/状態追跓モデルを上回ることを示す。

実験結果

リサーチクエスチョン

• RQ1 モジュラー・パイプラインではなく、単一の因果言語モデルでタスク指向対話を効果的に解決できるか。
• RQ2 事前学習とトークンセグメンテーションの選択が MultiWOZ でのエンドツーエンド TOD の性能にどう影響するか。
• RQ3 訓練時および推論時にデータベース検索結果を含めるか含めないかの影響は何か。
• RQ4 実用データセットにおけるノイズのあるアノテーションに対するエンドツーエンド TOD の頑健性はどの程度か。

主な発見

モデル	デコーダ	コンテキストエンコーダ	追加監督	ジョイント精度
TRADE ∗	Generative + Classifier	Bidirectional	-	45.6
DSTQA ∗∗	Classifier	Bidirectional	knowledge graph	51.17
DST-Picklist ∗	Classifier	Bidirectional	-	53.3
SST ∗	Generative	Bidirectional	schema graph	55.23
TripPy †	Classifier	Bidirectional	action decision	55.3
SimpleTOD o	Generative	Unidirectional	-	55.72
SimpleTOD ∗	Generative	Unidirectional	-	55.76
SimpleTOD +	Generative	Unidirectional	-	57.47

• SimpleTOD は MultiWOZ 2.1 で対話状態追跡のジョイント目標精度の最先端を達成（test-cleaning なし55.76； cleaning あり57.47）。
• エンドツーエンド評価では、情報提供率、成功率、総合スコアで従来の研究を上回る（例：inform 84.4、success 70.1、BLEU 15.01、combined 92.26、DB の入力なし）。
• オラクルDB検索や動的DB検索を使用すると、個別指標のスコアは高くなることがあるが、エンドツーエンドの最良パフォーマンスはDB検索の指針なしで発生する。
• エンドツーエンドの単一モデル TOD は、追加の監督なしで、専門的な多部品ベースラインを上回ることがある。
• アブレーションは、end-of-segmentトークンと事前学習の重要性を示し、より大きい SimpleTOD モデルが MultiWOZ のエンドツーエンド性能で必ずしも良いわけではないことを示す。