[論文レビュー] Few-Shot Generalization Across Dialogue Tasks

В. И. Власов, Akela Drissner-Schmid+1 more|arXiv (Cornell University)|Nov 28, 2018

Speech and dialogue systems参考文献 27被引用数 31

ひとこと要約

本稿では、注意機構と記憶メカニズムを備えた、会話状態とシステム行動を共有のベクトル空間に埋め込むことで、会話タスク間で有効な少データ一般化を実現するニューラルネットワークアーキテクチャ、再帰的埋め込み会話方策（REDP）を提案する。REDPは、協力的でないユーザー行動に対してもLSTMベースラインを著しく上回り、bAbI会話タスクでは100%の正確性を達成する。特に、過去のシステム行動に対する注目メカニズムが、小規模データセットにおける一般化性能の向上に寄与していることが明らかになった。

ABSTRACT

Machine-learning based dialogue managers are able to learn complex behaviors in order to complete a task, but it is not straightforward to extend their capabilities to new domains. We investigate different policies' ability to handle uncooperative user behavior, and how well expertise in completing one task (such as restaurant reservations) can be reapplied when learning a new one (e.g. booking a hotel). We introduce the Recurrent Embedding Dialogue Policy (REDP), which embeds system actions and dialogue states in the same vector space. REDP contains a memory component and attention mechanism based on a modified Neural Turing Machine, and significantly outperforms a baseline LSTM classifier on this task. We also show that both our architecture and baseline solve the bAbI dialogue task, achieving 100% test accuracy.

研究の動機と目的

• 1つの会話タスク（例：レストラン予約）における熟練度が、限られた訓練データで新しい未確認のタスク（例：ホテル予約）にどのように転送できるかを調査すること。
• トピック外の質問、訂正、不完全な応答などの協力的でないユーザー行動を明示的なハードコードなしで処理する課題に対処すること。
• 最小限のデータから再利用可能なパターンを学習することで、ドメインをまたいで一般化する会話方策を設計すること。
• 注目メカニズムと記憶コンponentが、タスク指向会話システムにおける少データ一般化をどのように向上させるかを評価すること。

提案手法

• REDPは、会話状態とシステム行動を共有のベクトル空間に埋め込み、タスク間での知識転送を可能にする。
• モデルは、記憶コンponentと注目メカニズムを備えた変更版ニューラルチューリングマシンを用い、会話履歴の関連部分に注目する。
• システム行動とユーザー発話は共有埋め込みを用いて符号化され、ポリシーがユーザーとシステムの両方のターンを考慮して推論できるようにする。
• ポリシーは、文脈に基づいて段階的に行動を予測するように、会話データセット上で教師あり学習によって訓練される。
• 転移学習の評価は、1つのドメイン（例：ホテル）で学習し、別のドメイン（例：レストラン）でテストする、またはその逆を行うことで実施される。
• アブレーションスタディにより、過去のシステム行動に対する注目メカニズムの一般化性能への寄与が分離される。

実験結果

リサーチクエスチョン

• RQ1 1つのタスク（例：レストラン予約）で訓練された会話方策が、限られた訓練データで新しい未確認のタスク（例：ホテル予約）に効果的に一般化できるか？
• RQ2 過去のシステム行動に対する注目メカニズムは、少データ会話学習における一般化をどのように向上させるか？
• RQ3 会話状態と行動のための共有埋め込み空間が、ドメイン間転送をどの程度可能にするか？
• RQ4 協力的でないユーザー行動の処理において、REDPは標準のLSTMベースラインと比べてどのように差をつけるか？
• RQ5 bAbIのような標準ベンチマークタスクで、強力なパフォーマンスを達成することで、モデルの耐性と一般化能力が示されるか？

主な発見

• REDPは、訓練データが限られる状況でも、LSTMベースラインを著しく上回る少データ一般化性能を示す。
• アブレーションスタディにより、過去のシステム行動に対する注目メカニズムが、一般化性能の向上を主に駆動していることが明らかになった。
• REDPはbAbI会話タスクで100%のテスト正確性を達成し、エンドツーエンド会話システムの標準ベンチマークとしての強力なパフォーマンスを示した。
• 注目メカニズムがなくても、REDPは100%のテスト正確性に達するが、LSTMベースラインは達成できないため、アーキテクチャ自体の本質的耐性が示された。
• レストラン会話からホテル会話への転移学習は僅かな向上しかもたらさないため、REDPの強いインダクティブバイアスが、少量のデータからの迅速な学習を可能にしていることが示唆された。
• 注目メカニズムの可視化により、協力的でないユーザー行動に対しても、関連する会話履歴に選択的に注目することで、モデルが正常に回復していることが確認された。