[論文レビュー] From Machine Reading Comprehension to Dialogue State Tracking: Bridging the Gap

Shuyang Gao, Sanchit Agarwal+3 more|arXiv (Cornell University)|Apr 13, 2020

Topic Modeling参考文献 24被引用数 16

ひとこと要約

本論文は、対話状態追跡（DST）を機械的読解（MRC）タスクに再定式化することで、カテゴリカル型と抽出型スロットを区別し、複数選択型およびスパンベースのMRCモデルを活用する、革新的なアプローチを提案する。完全データ設定では最先端の性能を達成し、少データおよびゼロショット設定でも先行手法を著しく上回り、領域内学習データが一切不要な状態で、30のスロットのうち12個で平均スロット精度が90％を超える。

ABSTRACT

Dialogue state tracking (DST) is at the heart of task-oriented dialogue systems. However, the scarcity of labeled data is an obstacle to building accurate and robust state tracking systems that work across a variety of domains. Existing approaches generally require some dialogue data with state information and their ability to generalize to unknown domains is limited. In this paper, we propose using machine reading comprehension (RC) in state tracking from two perspectives: model architectures and datasets. We divide the slot types in dialogue state into categorical or extractive to borrow the advantages from both multiple-choice and span-based reading comprehension models. Our method achieves near the current state-of-the-art in joint goal accuracy on MultiWOZ 2.1 given full training data. More importantly, by leveraging machine reading comprehension datasets, our method outperforms the existing approaches by many a large margin in few-shot scenarios when the availability of in-domain data is limited. Lastly, even without any state tracking data, i.e., zero-shot scenario, our proposed approach achieves greater than 90% average slot accuracy in 12 out of 30 slots in MultiWOZ 2.1.

研究の動機と目的

• 多様なドメインにわたる対話状態追跡（DST）データのラベル付きデータ不足の問題に対処すること。
• 領域内学習データが限られている、あるいは存在しない状況において、DSTモデルの一般化性能を向上させること。
• 既存の豊富な機械的読解（MRC）データセットおよびモデルを活用して、DSTの性能を向上させること。
• スロットをカテゴリカル型と抽出型に分類することで、DSTをMRCタスクとして統一的に扱うフレームワークを構築すること。
• MRCベースのDSTが完全データ、少データ、ゼロショット設定において有効であることを示すこと。

提案手法

• スロット名とタイプに基づいて各スロットに対して質問を生成することで、対話状態追跡を機械的読解（MRC）タスクに定式化する。
• スロットを2種類に分類する：カテゴリカル型（例：parking: Yes/No/Don’t Care）と抽出型（例：hotel-name）で、それぞれ適切なMRCパラダイムに一致させる。
• カテゴリカル型スロットには複数選択型MRCモデルを用い、固定された選択肢のうちから答えを選択する。
• 抽出型スロットにはスパンベースのMRCモデルを用い、対話文脈内のスパンが答えとなる。
• 2段階の訓練戦略を実装する：まず大規模なMRCデータセット（例：SQuAD、Natural Questions）で事前学習し、その後ターゲットDSTデータセット（例：MultiWOZ 2.1）で微調整する。
• 予測スパンを標準化するための正規化処理を適用し、堅牢性と解釈可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 機械的読解技術は、領域内ラベル付きデータへの依存を減らすために、対話状態追跡に効果的に適応可能か？
• RQ2 少データおよびゼロショット設定において、MRCベースのDSTは既存手法と比較してどの程度の性能を示すか？
• RQ3 微調整を領域内データで行わずに、統一されたMRCベースのフレームワークは多様なスロットタイプとドメインに一般化可能か？
• RQ4 領域内学習データが一切ない状況で、事前学習済みMRCモデルがDSTに知識をどの程度転送できるか？
• RQ5 カテゴリカル型と抽出型スロットの区別が、MRCベースのDSTの有効性を向上させるか？

主な発見

• 完全データ設定では、MultiWOZ 2.1における共同目標精度が準最先端水準に近い性能を達成し、完全な学習データを用いた強力な性能を示した。
• 少データ設定では、ホテルドメインの学習データの1％（約20〜30対話）のみを用いても、45.91％の共同目標精度を達成し、前回最良の19.73％を著しく上回った。
• ゼロショット設定では、領域内学習データが一切ない状態で、MultiWOZ 2.1の30スロットのうち12個で平均スロット精度が90％を超えた。
• スパンベースのMRCモデルは、正解スロット値を含む対話文の関連スパンを効果的に特定でき、その後正規化処理により正確な状態予測が得られた。
• ゼロショット性能は多様なスロットタイプにわたり堅牢であり、以前の転移ベース手法（例：TRADE）が苦戦した、ホテル名などのドメイン外スロットに対しても効果を発揮した。
• 本手法は優れた一般化性能を示しており、ゼロショット評価においてほとんどのスロットで平均50％以上の精度を達成し、MRCデータからの知識転送が効果的であることが示された。