[論文レビュー] A Fast and Robust BERT-based Dialogue State Tracker for Schema-Guided Dialogue Dataset

Vahid Noroozi, Yang Zhang+2 more|arXiv (Cornell University)|Aug 27, 2020

Topic Modeling参考文献 18被引用数 10

ひとこと要約

本稿では、単一パス推論、ターンおよびサービス間のスロット値伝搬のための二重キャリーオーバー機構、およびエンコーダ出力のモデリングを向上させるためのアテンションベースのデコーダープロジェクションを用いる、Schema-Guided Dialogue (SGD) データセット向けの高速かつ頑健な BERTベースの対話状態トラッカー FastSGT を提案する。モデルは SGD デベロップメントセットで 88.66%、テストセットで 83.12% の最先端の共同目標精度を達成し、計算コストとメモリコストを抑えたままベースラインに対して顕著な改善を示した。

ABSTRACT

Dialog State Tracking (DST) is one of the most crucial modules for goal-oriented dialogue systems. In this paper, we introduce FastSGT (Fast Schema Guided Tracker), a fast and robust BERT-based model for state tracking in goal-oriented dialogue systems. The proposed model is designed for the Schema-Guided Dialogue (SGD) dataset which contains natural language descriptions for all the entities including user intents, services, and slots. The model incorporates two carry-over procedures for handling the extraction of the values not explicitly mentioned in the current user utterance. It also uses multi-head attention projections in some of the decoders to have a better modelling of the encoder outputs. In the conducted experiments we compared FastSGT to the baseline model for the SGD dataset. Our model keeps the efficiency in terms of computational and memory consumption while improving the accuracy significantly. Additionally, we present ablation studies measuring the impact of different parts of the model on its performance. We also show the effectiveness of data augmentation for improving the accuracy without increasing the amount of computational resources.

研究の動機と目的

• Schema-Guided Dialogue (SGD) データセットにおける、従来の BERTベースの対話状態トラッカーの非効率さと高いメモリ消費量を是正すること。
• 値が明示的に言及されていなくても、対話ターンおよびサービス間でスロット値を効果的にキャリーオーバーできる仕組みを提供することで、状態トラッキング精度を向上させること。
• デコーダーにマルチヘッドアテンションプロジェクションを組み込むことで、エンコーダ出力のモデリングを強化し、[CLS]トークンを超える表現学習を促進すること。
• 計算コストを増加させずにデータ拡張の有効性を評価すること。
• キャリーオーバー機構やアテンションプロジェクションなどの主要なコンポーネントの寄与度を分離するためのアブレーションスタディを実施すること。

提案手法

• FastSGT は単一パス推論機構を採用しており、1回のフォワードパスでエンドツーエンドの状態トラッキングを実現し、トレーニングおよび推論時間を短縮する。
• 2つのキャリーオーバー機構を導入している：サービス内キャリーオーバー（過去のシステムターンからの値伝搬）、およびサービス間キャリーオーバー（異なるサービス間での値転送）。
• デコーダーにマルチヘッドアテンションプロジェクションを用いることで、すべてのエンコーダ隠れ状態に注目し、[CLS]トークンを超える表現学習を向上させる。
• SGDスキーマに含まれる自然言語記述を活用することで、類似スロットおよびサービス間での意味的一般化およびゼロショット転移性を向上させる。
• データ拡張は、対話内での同一スロットの有効な値にランダムに非カテゴリカルスロット値を置き換えることで実施され、対話の一貫性が保たれる。
• モデルは SGD および SGD+ データセット上でトレーニングおよび評価され、アブレーションスタディにより各コンポーネントの貢献度が分離されている。

実験結果

リサーチクエスチョン

• RQ1 複数パスベースラインと比較して、計算コストおよびメモリコストを低減しつつ、単一パス BERTベースの対話状態トラッカーがより高い精度を達成できるか？
• RQ2 サービス内およびサービス間キャリーオーバー機構は、対話ターンおよびサービス間でスロット値を効果的に維持できるか？
• RQ3 [CLS]トークンのみを用いる場合と比較して、アテンションベースのデコーダープロジェクションはエンコーダ出力のモデリングをどの程度向上させるか？
• RQ4 計算負荷やトレーニングステップ数を増加させずに、データ拡張はモデル性能を向上させるか？
• RQ5 アブレーションスタディにより、性能向上に最も寄与しているモデルコンポーネントは何か？

主な発見

• データ拡張を適用した FastSGT は、SGD デベロップメントセットで 88.66%、テストセットで 83.12% の共同目標精度を達成し、ベースラインを顕著に上回った。
• サービス内キャリーオーバー機構は SGD データセットで 1.2% の共同目標精度向上をもたらした。一方、マルチドメイン対話ではサービス間キャリーオーバーが 1.0% の向上をもたらした。
• アテンションベースのデコーダープロジェクションは、[CLS]トークンのみを用いるモデルと比較して 0.5% の共同目標精度向上をもたらした。
• データ拡張は、SGD デベロップメントセットで 0.63 ポints、テストセットで 1.06 ポイントの共同目標精度向上をもたらしたが、トレーニングステップ数に変化はなかった。
• アブレーションスタディの結果、キャリーオーバー機構が性能向上の主な要因であり、ベースラインからの改善の 80% 以上を占めていることが判明した。
• モデルは高い効率性を維持しており、推論およびトレーニング時間が複数パスモデルよりも顕著に低く抑えられており、リアルタイムデプロイメントに適している。