[論文レビュー] Zero-Shot Dialog Generation with Cross-Domain Latent Actions

Tiancheng Zhao, Maxine Eskénazi|arXiv (Cornell University)|May 13, 2018

Topic Modeling参考文献 28被引用数 17

ひとこと要約

本稿では、トレーニング用の会話データが不要で、ドメインの説明のみを用いて未学習のドメインでも応答を生成できる、ゼロショット会話生成（ZSDG）を提案する。アクションマッチング（AM）と呼ばれるフレームワークを導入し、ドメイン間の潜在的行動空間を学習することで、異なるドメイン間の意味を統一的に表現し、合成および実世界の会話データセットにおいて優れたゼロショット性能を達成した。

ABSTRACT

This paper introduces zero-shot dialog generation (ZSDG), as a step towards neural dialog systems that can instantly generalize to new situations with minimal data. ZSDG enables an end-to-end generative dialog system to generalize to a new domain for which only a domain description is provided and no training dialogs are available. Then a novel learning framework, Action Matching, is proposed. This algorithm can learn a cross-domain embedding space that models the semantics of dialog responses which, in turn, lets a neural dialog generation model generalize to new domains. We evaluate our methods on a new synthetic dialog dataset, and an existing human-human dialog dataset. Results show that our method has superior performance in learning dialog models that rapidly adapt their behavior to new domains and suggests promising future research.

研究の動機と目的

• 新しいドメインにおいてトレーニングデータが限られている、あるいは存在しない神経的会話システムのデータ不足問題に対処すること。
• 最小限のデータで、エンドツーエンドの生成型会話モデルが未学習ドメインに一般化できるようにすること。
• 人的にアノテートされた会話例の代わりにドメインの説明を活用することで、迅速な適応を実現する手法を開発すること。
• クロスドメイン意味の統一を用いて、ゼロショット会話生成を学習問題として形式化すること。
• 人的にアノテートされた会話データを多く必要としない、実用的な新ドメインへの会話システムの展開フレームワークを構築すること。

提案手法

• トレーニング用の会話データが不要で、ドメインの説明のみを用いて新しいドメインに一般化できる、ゼロショット会話生成（ZSDG）という新しい学習パラダイムを提案すること。
• ドメイン間の共通する潜在的行動空間を学習し、異なるドメイン間の応答意味を統一的に表現する、新しいアルゴリズムであるアクションマッチング（AM）を導入すること。
• ソースドメインとターゲットドメインの両方で共有される潜在的行動を生成する会話ポリシーネットワークを用いること。
• アテンションとコピーメカニズムを備えたエンコーダーデコーダーモデルを、AMによって強化し、未学習ドメインで新しい発話文を生成すること。
• 多様なトレーニングデータを生成し、ZSDGのパフォーマンスを評価するために、合成マルチドメイン会話データセットSimDialを活用すること。
• ターゲットドメインのシード応答（SR）をドメイン説明の一種として用い、SRのサイズが大きくなるほど性能が向上することを確認した。

実験結果

リサーチクエスチョン

• RQ1 神経的会話生成モデルは、トレーニング用の会話データが全くない状態でも、ドメインの説明のみを用いて新しいドメインに一般化できるか？
• RQ2 アクションマッチング（AM）フレームワークは、会話応答生成のためのクロスドメイン意味の統一にどの程度効果的か？
• RQ3 ドメイン説明として使用されるシード応答（SR）のサイズがZSDGパフォーマンスに与える影響は何か？
• RQ4 モデルは、文脈からコピーディスアドバンテージがある初期段階の会話において、新しい発話文を生成できるか？
• RQ5 アテンションとコピーメカニズムを備えたベースラインと比較して、本手法はゼロショット設定でどの程度優れているか？

主な発見

• +Copy+AMモデルは、SimDialの新しい映画ドメインでBLEUスコア8.1を達成し、+Attn（4.8）および+Copy（4.4）を顕著に上回った。
• SMDデータセットにおいて、+Copy+AMは未学習の映画ドメインでエンティティF1スコア31.0を達成し、オラクル性能の51.9に近づいた。
• AMを搭載したモデルは、文脈からコピーディスアドバンテージがない初期段階の会話においても、新しい発話文を生成できる。これに対して、+Copyベースラインは文脈が不足するため失敗する。
• SMDスケジュールドメインにおける性能は、シード応答（SR）の数が増えるにつれて向上し、100SRで200SRに近い最適性能に達した。
• 定性的な分析から、AMで訓練されたモデルのみが、機能的に類似した応答（例：「Movie 55 is a great movie」ではなく「Bus 55 can take you there」）を新しいドメインに正しく一般化していることが分かった。
• アクションマッチングフレームワークにより、モデルは異なるドメイン間の応答の意味的類似性を推論でき、未知語彙や未学習のスロット値の正確な生成が可能になった。