[論文レビュー] An End-to-End Dialogue State Tracking System with Machine Reading Comprehension and Wide & Deep Classification

Yue Ma, Zengfeng Zeng+6 more|arXiv (Cornell University)|Dec 19, 2019

Topic Modeling参考文献 21被引用数 18

ひとこと要約

本論文は、DSTC 8 トラック 4チャレンジ向けにエンド・ツー・エンドの対話状態追跡システムを提示する。このシステムは、スパンベースおよび数値スロット用に機械読解（MRC）モデルを、ブール値およびテキストベーススロット用に手作業特徴を備えたワイド＆ディープモデルを組み合わせるものである。このシステムは、共同目標精度0.8652およびスロットタギングF1スコア0.9835という最先端の性能を達成し、未学習のサービスへのゼロショット一般化において優れた性能を示している。

ABSTRACT

This paper describes our approach in DSTC 8 Track 4: Schema-Guided Dialogue State Tracking. The goal of this task is to predict the intents and slots in each user turn to complete the dialogue state tracking (DST) based on the information provided by the task's schema. Different from traditional stage-wise DST, we propose an end-to-end DST system to avoid error accumulation between the dialogue turns. The DST system consists of a machine reading comprehension (MRC) model for non-categorical slots and a Wide & Deep model for categorical slots. As far as we know, this is the first time that MRC and Wide & Deep model are applied to DST problem in a fully end-to-end way. Experimental results show that our framework achieves an excellent performance on the test dataset including 50% zero-shot services with a joint goal accuracy of 0.8652 and a slot tagging F1-Score of 0.9835.

研究の動機と目的

• 従来のパイプラインベースの対話状態追跡における誤差蓄積を解消するため、過去の状態推定に依存しないようにすること。
• 自然言語記述を用いて意図とスロット意味をモデル化することで、未学習のサービスへのゼロショット一般化を可能にすること。
• 分類的（ブール値／テキストベース）および非分類的（スパンベース／数値）スロットの両方の性能を、専用のエンド・ツー・エンドアーキテクチャにより向上させること。
• ワイド＆ディープ部におけるデータ拡張およびハイブリッド特徴工学により、モデルの頑健性と一般化性能を向上させること。

提案手法

• MRC-DSTモジュールは、各スロットを対話履歴全体に対する質問として扱い、RoBERTaを用いて文脈から直接答えのスパンを抽出する。
• WD-DSTモデルは、事前学習済みの文脈埋め込みと手作業特徴（例：スロットの存在、位置、類似度）を組み合わせることで、ブール値およびテキストベーススロットの分類性能を向上させる。
• すべての意図およびスロット名は、自然言語記述に置き換えられ、新しいスキーマへのゼロショット一般化を可能にする。
• WD-DSTの訓練データにデータ拡張が適用され、とくにレアまたは未学習のスロットタイプに対して一般化性能が向上する。
• 対話中に矛盾する意図（例：'Payment_1'における'MakePayment'と'RequestPayment'）に切り替わった場合、特別なルールにより状態をクリアすることで、状態の不整合を防止する。
• 最終的なシステムは、データ拡張を施したMRC-DSTとWD-DSTをアンサンブルすることで、最適な共同性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドの対話状態追跡システムは、過去の状態推定に依存せずに、前のターンからの誤差伝搬を排除できるか？
• RQ2 自然言語記述を用いて意図とスロット意味をモデル化することで、未学習のサービスへの有効なゼロショット一般化が可能になるか？
• RQ3 深層文脈表現と手作業特徴を組み合わせることで、純粋なニューラルベースラインに比べて分類的スロット追跡の性能が向上するか？
• RQ4 データ拡張は、対話状態追跡におけるゼロショット一般化にどの程度効果をもたらすか？
• RQ5 マルチドメインでスキーマガイドドな設定において、非分類的スロットにMRCベースの統合アプローチを適用するのと、分類的スロットにハイブリッドモデルを適用するのとでは、それぞれどの程度効果的か？

主な発見

• 提案されたエンド・ツー・エンドシステムは、DSTC 8のテストセットで共同目標精度0.8652およびスロットタギングF1スコア0.9835を達成し、全チーム中最上位の順位を獲得した。
• MRC-DSTモデルは強力な意味理解能力を示し、対話履歴から直接スパンベースおよび数値スロット値を効果的に抽出した。
• WD-DSTモデルは、RoBERTa単体のベースライン（開発セット平均精度0.9355）に比べ、手作業特徴の有効な統合により0.9751の平均精度を達成し、優れた性能を示した。
• データ拡張はゼロショット性能を顕著に向上させ、アブレーションスタディにより未学習のサービスにおいて特に顕著であった。
• データ拡張を施したMRC-DSTとWD-DSTのアンサンブルは、ベースライン手法に比べ10%以上の改善を達成し、ハイブリッドアーキテクチャの有効性を確認した。
• 意図切り替えに伴う矛盾するスロット値を処理するため、状態クリアリングルールを適用したことで、不整合の発生を防止した。