[論文レビュー] Fine-Tuning BERT for Schema-Guided Zero-Shot Dialogue State Tracking

Yu-Ping Ruan, Zhen-Hua Ling+2 more|arXiv (Cornell University)|Feb 1, 2020

Topic Modeling参考文献 12被引用数 16

ひとこと要約

この論文は、スキーマガイドド微調整を用いてBERTを微調整し、ゼロショット対話状態追跡を実現するSGP-DSTシステムを提案している。4つのモジュール（意図予測、スロット埋め込み、スロット転送、ユーザー状態要約）を用いる。DSTC8-Track 4ベンチマークにおいて、共同目標精度で3位、要求スロットF1で1位を達成し、未学習のAPIに対しても強力な一般化性能を示した。

ABSTRACT

We present our work on Track 4 in the Dialogue System Technology Challenges 8 (DSTC8). The DSTC8-Track 4 aims to perform dialogue state tracking (DST) under the zero-shot settings, in which the model needs to generalize on unseen service APIs given a schema definition of these target APIs. Serving as the core for many virtual assistants such as Siri, Alexa, and Google Assistant, the DST keeps track of the user's goal and what happened in the dialogue history, mainly including intent prediction, slot filling, and user state tracking, which tests models' ability of natural language understanding. Recently, the pretrained language models have achieved state-of-the-art results and shown impressive generalization ability on various NLP tasks, which provide a promising way to perform zero-shot learning for language understanding. Based on this, we propose a schema-guided paradigm for zero-shot dialogue state tracking (SGP-DST) by fine-tuning BERT, one of the most popular pretrained language models. The SGP-DST system contains four modules for intent prediction, slot prediction, slot transfer prediction, and user state summarizing respectively. According to the official evaluation results, our SGP-DST (team12) ranked 3rd on the joint goal accuracy (primary evaluation metric for ranking submissions) and 1st on the requsted slots F1 among 25 participant teams.

研究の動機と目的

• タスク指向対話におけるゼロショット対話状態追跡（DST）の課題に取り組むこと。これは、モデルが未学習のサービスAPIに一般化できるようにする必要がある。
• スキーマ定義に含まれる自然言語記述を活用することで、低リソースまたは未学習ドメインの状況における一般化を向上させること。
• BERTの微調整とスキーマガイドドの監視を用いて、堅牢でエンドツーエンドの対話状態追跡システムを開発すること。
• スロット転送予測と少数-shot微調整の有効性が、ゼロショット性能の向上にどのように寄与するかを評価すること。

提案手法

• スキーマで定義された意図とスロットの記述を用いて、対話データ上でBERTを微調整し、ゼロショット一般化を可能にする。
• 4モジュールパイプラインの設計：(1) 意図予測、(2) スロット値および要求スロット予測、(3) 領域内およびクロスドメインのスロット転送予測、(4) ユーザー状態要約。
• 微調整中に、スキーマ定義からのスロットおよび意図の自然言語記述を文脈的シグナルとして活用する。
• 開発セットからの少数のラベル付き例を訓練に組み込むことで、少数-shot学習をシミュレートし、ゼロショット一般化を向上させる。
• 訓練データの全セットでモデルを学習し、未学習のAPIで評価することで、ゼロショット一般化能力を評価する。
• 早期停止とモデル平均化を適用し、微調整中の頑健性を向上させ、過学習を回避する。

実験結果

リサーチクエスチョン

• RQ1 スキーマ記述で微調整されたBERTは、未学習のサービスAPIに対して、ゼロショット対話状態追跡で効果的に一般化できるか？
• RQ2 スロット転送予測の導入が、未学習ドメインでの性能にどのように寄与するか？
• RQ3 開発セットのサンプルを用いた少数-shot微調整は、未学習APIにおけるゼロショット一般化をどの程度向上させるか？
• RQ4 スロット値予測と意図・要求スロット予測の両方において、学習済みAPIと未学習APIの間で性能ギャップはどの程度か？

主な発見

• SGP-DSTシステムは、DSTC8-Track 4のテストセットで25チーム中、共同目標精度で3位、要求スロットF1で1位を達成した。
• 意図および要求スロット予測において、学習済みと未学習APIの間で性能低下が最小限に抑えられ、強力な一般化を示した。
• 未学習APIサブセットではスロット値予測で顕著な性能低下が観察され、ゼロショット一般化における主な課題であることが示された。
• 特に領域内転送を含むスロット転送予測モジュールが、全体の性能向上に顕著に寄与し、状態追跡における重要性を浮き彫りにした。
• 開発セットの90％を用いた少数-shot微調整は、未学習APIでの共同目標精度を向上させたが、100％の開発セット微調整では過学習が生じ、テストセットでの性能低下が観察された。
• 開発セットの90％のサンプルで学習した場合、テストセットで共同目標精度0.9260、平均目標精度0.9199を達成し、参加者の中でそれぞれ3位と5位を記録した。