[論文レビュー] Simple, Fast, Accurate Intent Classification and Slot Labeling.

Arshit Gupta, John Hewitt+1 more|arXiv (Cornell University)|Mar 19, 2019

Speech and dialogue systems被引用数 6

ひとこと要約

この論文は、ラベル再帰的で拡張畳み込みニューラルネットワークを活用することで、スニップスデータセットにおいてスロットラベル付けで30%の誤差低減を達成し、推論速度が2倍速く、類似した再帰的モデルと比較して30–50%の訓練時間短縮を実現する、シンプルで非再帰的なニューラルアーキテクチャの族を提案する。

ABSTRACT

In real-time dialogue systems running at scale, there is a tradeoff between system performance, time taken for training to converge, and time taken to perform inference. In this work, we study modeling tradeoffs intent classification (IC) and slot labeling (SL), focusing on non-recurrent models. We propose a simple, modular family of neural architectures for joint IC+SL. Using this framework, we explore a number of self-attention, convolutional, and recurrent models, contributing a large-scale analysis of modeling paradigms for IC+SL across two datasets. At the same time, we discuss a class of 'label-recurrent' models, proposing that otherwise non-recurrent models with a 10-dimensional representation of the label history provide multi-point SL improvements. As a result of our analysis, we propose a class of label-recurrent, dilated, convolutional IC+SL systems that are accurate, achieving a 30% error reduction in SL over the state-of-the-art performance on the Snips dataset, as well as fast, at 2x the inference and 2/3 to 1/2 the training time of comparable recurrent models.

研究の動機と目的

• 大規模なリアルタイム対話システムにおけるモデルの精度、訓練速度、推論遅延のトレードオフを解消すること。
• 効率性とパフォーマンスに焦点を当てた、共同意図分類とスロットラベル付けの非再帰的アーキテクチャを検討すること。
• 他の非再帰的モデルにラベル履歴表現を組み込むことで、スロットラベル付けの性能向上に与える影響を調査すること。
• IC+SLにおける自己注意、畳み込み、再帰的モデリングパラダイムの比較を可能にするモジュラーでスケーラブルなフレームワークを開発すること。
• スロットラベル付けで最先端のパフォーマンスを達成するとともに、推論時間と訓練時間を大幅に短縮すること。

提案手法

• 拡張畳み込みと自己注意メカニズムを用いた、モジュラーで非再帰的なニューラルアーキテクチャの族を、共同意図分類とスロットラベル付けに提案する。
• 以前のスロットラベルの10次元表現を維持する「ラベル再帰的」メカニズムを導入し、マルチポイントスロットラベル付けの性能を向上させる。
• 統一されたエンコーダデコーダフレームワーク内での意図分類とスロットラベル付けのための共同訓練目的を採用する。
• モデルの深さや計算コストを増加させることなく、長距離依存関係を捉えるために拡張畳み込みを活用する。
• 勾配消失の緩和と収束速度の向上を図るために、残差接続と層正則化を適用する。
• 2つのベンチマークデータセット上で、自己注意、畳み込み、再帰的の複数のモデリングパラダイムを評価する。

実験結果

リサーチクエスチョン

• RQ1 共同意図分類とスロットラベル付けにおいて、非再帰的モデルは再帰的モデルと比較して、精度、訓練時間、推論速度の観点でどのように異なるか？
• RQ2 10次元のラベル履歴表現は、他の点で非再帰的モデルにおいてスロットラベル付け性能を向上させることができるか？
• RQ3 拡張畳み込みと自己注意は、スロットラベル付け精度と推論効率にどのような影響を与えるか？
• RQ4 提案されたラベル再帰的メカニズムは、マルチポイントスロットラベル付け性能にどのように影響を与えるか？
• RQ5 統一的でモジュラーなアーキテクチャは、低遅延と高速訓練を維持しながら、最先端のパフォーマンスを達成できるか？

主な発見

• 提案されたラベル再帰的で拡張畳み込みニューラルネットワークは、スニップスデータセットにおいて、最先端の手法と比較してスロットラベル付けで30%の誤差低減を達成した。
• 推論速度は類似した再帰的モデルの2倍速く、リアルタイムデプロイメントに適している。
• 再帰的ベースラインと比較して、訓練時間が30–50%短縮され、モデルの反復速度が向上した。
• 再帰ユニットの必要性を排除しながらも、高い精度を維持しており、アーキテクチャを単純化した。
• ラベル再帰的メカニズムは、モデルの複雑さを増さずにマルチポイントスロットラベル付け性能を顕著に向上させた。
• このフレームワークにより、2つのデータセット上で自己注意、畳み込み、再帰的パラダイムの効率的比較が可能になった。