[論文レビュー] A Simple but Effective BERT Model for Dialog State Tracking on Resource-Limited Systems

Tuan Lai, Quan Hung Tran+2 more|arXiv (Cornell University)|Oct 28, 2019

Topic Modeling参考文献 24被引用数 4

ひとこと要約

この論文では、対話状態追跡（DST）のための単純でパラメータ効率の良いBERTベースのモデルを提案する。各スロット-値ペアをシーケンス入力として扱うことで、新しいオントロジー項目へのゼロショット一般化が可能となる。知識蒸留を適用することで、元のBERTモデルと比較して8倍小さく、7倍速く、精度の低下を最小限に抑えながらWoZ 2.0データセットで最先端の性能を達成した。

ABSTRACT

In a task-oriented dialog system, the goal of dialog state tracking (DST) is to monitor the state of the conversation from the dialog history. Recently, many deep learning based methods have been proposed for the task. Despite their impressive performance, current neural architectures for DST are typically heavily-engineered and conceptually complex, making it difficult to implement, debug, and maintain them in a production setting. In this work, we propose a simple but effective DST model based on BERT. In addition to its simplicity, our approach also has a number of other advantages: (a) the number of parameters does not grow with the ontology size (b) the model can operate in situations where the domain ontology may change dynamically. Experimental results demonstrate that our BERT-based model outperforms previous methods by a large margin, achieving new state-of-the-art results on the standard WoZ 2.0 dataset. Finally, to make the model small and fast enough for resource-restricted systems, we apply the knowledge distillation method to compress our model. The final compressed model achieves comparable results with the original model while being 8x smaller and 7x faster.

研究の動機と目的

• 既存のニューラルDSTモデルの複雑さとスケーラビリティの問題に対処する。これらはしばしばスロットタイプごとに別々のモデルを必要とし、本番環境での保守が困難である。
• 固定されたオントロジー制約からスロット-値予測を分離することで、再トレーニングなしに変化するドメインオントロジーに動的に適応可能にする。
• モバイルデバイスなどのリソース制限のあるシステムに適した軽量で効率的なDSTモデルを開発する。
• 単純なファインチューニング済みBERTモデルが、標準のDSTベンチマークで、複雑で高度に設計された先行手法を上回ることを示す。

提案手法

• モデルは、対話文脈と候補スロット-値ペアの連結を1つの入力シーケンスとして処理する標準のBERT baseエンコーダーを使用する。
• 各候補スロット-値ペアは独立にBERTで処理され、[CLS]トークンの表現がペアの関連スコアを予測するために用いられる。
• すべてのスロットタイプ間でパラメータを共有するため、オントロジーのサイズに比例してパラメータ数が増加しない。
• 大規模なBERTモデルをより少ない層数と隠れ次元数を持つ小さな学生モデルに圧縮するために、知識蒸留を適用する。
• フルモデルからのソフトラベルを用いて、学生モデルをファインチューニングすることで、性能を維持しながらモデルサイズと推論時間を削減する。
• 最終的な圧縮モデルはCPUおよびGPU上で評価され、実際の展開環境における効率性の向上を示す。

実験結果

リサーチクエスチョン

• RQ1 単純で統合的なBERTベースアーキテクチャは、WoZ 2.0のような標準ベンチマークで、複雑でスロットに特化したDSTモデルを上回ることができるか？
• RQ2 シーケンス・トゥ・シーケンスの方法で学習したBERTベースのDSTモデルは、再トレーニングなしに未学習のスロット-値ペアに一般化できるか？
• RQ3 知識蒸留は、大規模なBERTモデルをDSTに圧縮するのに効果的であり、高い精度を維持するとともに、推論速度とモデルサイズを著しく改善できるか？
• RQ4 精度、サイズ、速度の観点から、蒸留モデルの性能は他の最先端モデルと比較してどうなるか？

主な発見

• フルBERTベースのモデルは、WoZ 2.0のテストセットで90.5%のジョイントゴール精度と97.6%のターンリクエスト精度を達成し、すべての先行手法を上回った。
• 蒸留された学生モデルは、90.4%のジョイントゴール精度と97.7%のターンリクエスト精度を達成し、フルモデルと同等の性能を維持しながら、CPU上で8倍小さく、7倍速かった。
• 蒸留モデルは、DistilBERT（270MB）やApple Core ML BERT（220MB）を含む、いくつかの先行BERTベースのモデルよりも小さく、速い。
• CPU上では、蒸留モデルは1ターンあたり0.205秒で実行され、フルモデル（1.465秒）の7倍速く、DistilBERT（0.579秒）の3倍速かった。
• 蒸留モデルのパラメータ数（14M）は、非BERTベースのモデルであるGLAD（17M）よりも少なかった。これは、DSTにおける知識蒸留の有効性を示している。
• モデルは、トレーニング時に見られなかった新しいスロット-値ペアに一般化可能であり、オントロジーが変更されても再トレーニングを必要としない。