[論文レビュー] Goal-Oriented Multi-Task BERT-Based Dialogue State Tracker

P. A. Gulyaev, Eugenia Elistratova+4 more|arXiv (Cornell University)|Feb 5, 2020

Topic Modeling参考文献 21被引用数 10

ひとこと要約

本稿では、スロット、サービス、意図の説明を用いて対話履歴を照会することで、DSTをリーディングコンprehエンションタスクとして定式化する、ゴール指向のマルチタスクBERTベースの対話状態トラッカーGOLOMBを提案する。本手法は、事前計算されたスキーマ埋め込みを用いないままスパン予測とマルチタスク学習を活用することで、未学習ドメインやスロットタイプに対してもゼロショット一般化を可能にし、SGDデータセット上で53.97%のジョイントゴール精度を達成した。

ABSTRACT

Dialogue State Tracking (DST) is a core component of virtual assistants such as Alexa or Siri. To accomplish various tasks, these assistants need to support an increasing number of services and APIs. The Schema-Guided State Tracking track of the 8th Dialogue System Technology Challenge highlighted the DST problem for unseen services. The organizers introduced the Schema-Guided Dialogue (SGD) dataset with multi-domain conversations and released a zero-shot dialogue state tracking model. In this work, we propose a GOaL-Oriented Multi-task BERT-based dialogue state tracker (GOLOMB) inspired by architectures for reading comprehension question answering systems. The model "queries" dialogue history with descriptions of slots and services as well as possible values of slots. This allows to transfer slot values in multi-domain dialogues and have a capability to scale to unseen slot types. Our model achieves a joint goal accuracy of 53.97% on the SGD dataset, outperforming the baseline model.

研究の動機と目的

• マルチドメイン・マルチサービス仮想アシスタントにおけるゼロショット対話状態トラッキングの課題に対処すること。
• 微調整や事前計算されたスキーマ表現を必要とせず、未学習のサービスやスロットタイプに対しても堅牢な一般化を可能にすること。
• ドメイン切り替えやレアなスロット値ペアが一般的なマルチドメイン対話において、ジョイントゴール精度を向上させること。
• 自然言語記述を用いてドメイン間で知識を転送する、スケーラブルでスキーマに依存しないDSTモデルの開発。
• オントロジー固有のモデルの限界を克服し、統一的でエンドツーエンド微調整可能なアーキテクチャを用いること。

提案手法

• モデルは、対話状態トラッキングをリーディングコンprehエンションタスクとして扱い、『質問』としてスロット、意図、サービスの説明を形成する。
• 対話履歴とスキーマ説明を一括してBERTエンコーダで符号化し、分類とスパン予測用に特別なトークン（u_cls, u_pv, u_int）を用いる。
• カテゴリカルスロット値の予測には、可能な値のリストから正しい値を予測するための特別な[ppv]トークンを採用し、CLSプーリングに比べて性能を向上させる。
• 意図分類、要求スロット予測、スロット値予測の3つのタスクを同時に最適化するため、タスク固有のヘッドを複数用いるマルチタスク学習を実装する。
• 文脈理解を高めるためにSQuADで事前学習されたBERTを活用するが、これは平均的なゴール精度をわずかに低下させる。
• 固定されたスキーマ埋め込みを避けることで、自然言語記述のみに依存するため、新しいスキーマへのゼロショット適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 微調整や事前計算されたスキーマ表現を一切用いずに、未学習のサービスやスロットタイプに対しても対話状態トラッカーが一般化可能か。
• RQ2 DSTをリーディングコンprehエンションタスクとしてモデリングすることで、マルチドメイン対話におけるゼロショット一般化がどのように向上するか。
• RQ3 カテゴリカルスロット値予測において、特別な[ppv]トークンを用いる方法と[CLS]プーリングを用いる方法の違いは何か。
• RQ4 意図、要求スロット、スロット値予測のマルチタスク学習がジョイントゴール精度に与える影響は。
• RQ5 ドメインのズレの可能性があるにもかかわらず、SQuAD事前学習がSGDデータセットでの性能にどの程度寄与するか。

主な発見

• GOLOMBはSGD開発セットで53.97%のジョイントゴール精度を達成し、ベースラインモデルの41.1%を上回った。
• アブレーションスタディの結果、スロット値予測に[ppv]トークンを用いることで、[CLS]プーリングのみを用いた場合に比べてジョイントゴール精度が約6%向上した。
• スロットとドメインの自然言語記述（NLD）を追加することで性能が向上したが、[ppv]トークン手法に比べて効果は限定的であった。
• 意図分類ヘッドを追加することでジョイントゴール精度が約1%向上したため、マルチタスク学習が全体のトラッキング品質を向上させていることが示された。
• 『場所』『日付』『目的地』『目的地都市』などのスロットでは、誤り率が最大12%に達するなど、性能が著しく低かった。主な原因はドメイン切り替えの混乱とラベルノイズに起因する。
• ドメイン遷移に伴い、文脈に新しいスロットの値が明示的に記載されていない場合、スロット値の正しくない転送が頻発し、モデルの性能が著しく低下した。