[論文レビュー] Template Guided Text Generation for Task-Oriented Dialogue

Mihir Kale, Abhinav Rastogi|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 33被引用数 6

ひとこと要約

本稿では、タスク指向対話システム向けに、単純なテンプレートを用いて意味的に正しいが一貫性のない発話文を生成し、その後に事前学習済み言語モデルによって自然で流暢な応答に改善する、テンプレート誘導型テキスト生成手法（T2G2）を提案する。この手法は、20ドメインの45のAPIにおいて、少量のアノテーションデータで強いゼロショットおよびフェイワショット一般化性能を達成し、大規模なSchema-Guided Dialogueデータセットにおいてベースラインを上回る耐障害性とサンプル効率性を示した。

ABSTRACT

Virtual assistants such as Google Assistant, Amazon Alexa, and Apple Siri enable users to interact with a large number of services and APIs on the web using natural language. In this work, we investigate two methods for Natural Language Generation (NLG) using a single domain-independent model across a large number of APIs. First, we propose a schema-guided approach which conditions the generation on a schema describing the API in natural language. Our second method investigates the use of a small number of templates, growing linearly in number of slots, to convey the semantics of the API. To generate utterances for an arbitrary slot combination, a few simple templates are first concatenated to give a semantically correct, but possibly incoherent and ungrammatical utterance. A pre-trained language model is subsequently employed to rewrite it into coherent, natural sounding text. Through automatic metrics and human evaluation, we show that our method improves over strong baselines, is robust to out-of-domain inputs and shows improved sample efficiency.

研究の動機と目的

• 数百のAPIとドメインにわたる自然言語生成（NLG）を、最小限のアノテーション作業でスケーリングする課題に対処すること。
• 各APIごとに多数のラベル付きデータを必要とせずに、タスク指向対話におけるゼロショットおよびフェイワショット一般化を向上させること。
• 一貫したテンプレート設計に依存するのを減らし、統一的かつドメインに依存しないNLGフレームワークを提供すること。
• 1つの事前学習済みモデルを用いて、多様なドメインにおいて耐障害的で一貫性があり、自然なシステム応答を生成できること。
• 現実世界のバーチャルアシスタントが複数ドメインの対話を処理するにあたり、スケーラブルで効率的かつ転送可能なNLGソリューションを提供すること。

提案手法

• 本手法は、スロット数に線形に依存する少数の自然言語テンプレートを用い、システム行動を意味的に正しいが一貫性のない発話文に変換する。
• これらのテンプレート生成発話文を連結し、事前学習済みT5エンコーダデコーダモデルに供給することで、より流暢で自然な応答に再ライティングする。
• 本手法の評価には、2種類の入力表現を用いる：単純なスロット値ペアと、自然言語によるスロット名を用いたスキーマ誘導型記述。
• すべての12ドメインを統合的にモデリングすることで、パラメータ効率性と一貫性を向上させ、トレーニングおよび保守コストを削減する。
• 対話の履歴を統合するため、入力表現に直近k回分の以前の発話文を連結することで、一貫性を向上させ、繰り返しを減らす。
• 未学習のAPIに対してもゼロショット推論を可能とし、最小限のラベル付き例でのフェイワショット微調整を可能にする。

実験結果

リサーチクエスチョン

• RQ1 最小限のラベル付き例で、ドメインに依存しない1つのNLGモデルが、未学習のAPIに効果的に一般化できるか？
• RQ2 スロット値ペア入力表現と比較して、スキーマ誘導型または単純なスロット値入力表現は、流暢さと耐障害性においてどのように異なるか？
• RQ3 対話履歴の文脈を組み込むことで、応答品質がどの程度向上し、繰り返しがどの程度減少するか？
• RQ4 複数ドメインにわたる統合モデリングは、ドメイン特化モデルと比較して、サンプル効率性と性能を向上させるか？
• RQ5 テンプレート誘導型の再ライティングアプローチは、Schema-Guided Dialogueのような大規模で多様なドメインの対話データセットでも強力な性能を達成できるか？

主な発見

• すべての12ドメインを統合的にモデリングすることで、BLEUスコアが3.4ポイント向上（23.6から27.0に）、文単位誤り率（SER）が4.7%から1.0%に低下し、優れた一般化性能と効率性を示した。
• 直前のユーザー発話文（k=1）を含めることで、BLEUスコアがほぼ3ポイント向上（26.2から29.0に）、対話文脈の価値が応答の一貫性向上に寄与することを示した。
• テンプレート誘導型アプローチは、未学習のAPIにおいて強力なゼロショット性能を達成し、ドメイン外一般化において最先端の事前学習手法を上回った。
• 手作業でテンプレートを設計するのではなく、単純なテンプレートに依存することで、アノテーションコストを大幅に削減し、スケーラブルな展開を可能にした。
• T2G2フレームワークは、5つの以前の発話文を文脈として使用した場合、BLEUスコア32.6、SER 0.7を達成し、文脈モデリングによる優れた性能を示した。
• 本手法はサンプル効率性が向上し、アノテーションデータが限られる低リソース環境や多言語環境においても適していることが示された。