[論文レビュー] SlotRefine: A Fast Non-Autoregressive Model for Joint Intent Detection and Slot Filling

Di Wu, Liang Ding+2 more|arXiv (Cornell University)|Oct 6, 2020

Topic Modeling参考文献 22被引用数 7

ひとこと要約

SlotRefineは、非自己回帰的モデルとして、スロット予測の非整合性を解消する二段階の精錬機構を用いて、共同意図検出とスロット埋め込みを高速に実行する手法を提案する。ATISおよびSnipsデータセットにおいて最先端の性能を達成するとともに、自己回帰的ベースラインと比較して最大10.77倍の高速化を実現した。

ABSTRACT

Slot filling and intent detection are two main tasks in spoken language understanding (SLU) system. In this paper, we propose a novel non-autoregressive model named SlotRefine for joint intent detection and slot filling. Besides, we design a novel two-pass iteration mechanism to handle the uncoordinated slots problem caused by conditional independence of non-autoregressive model. Experiments demonstrate that our model significantly outperforms previous models in slot filling task, while considerably speeding up the decoding (up to X 10.77). In-depth analyses show that 1) pretraining schemes could further enhance our model; 2) two-pass mechanism indeed remedy the uncoordinated slots.

研究の動機と目的

• 共同意図検出とスロット埋め込みにおける自己回帰的モデルの非効率性と高レイテンシーを解消すること。
• 非自己回帰的モデルにおける条件付き独立性によって引き起こされる非整合スロット（例：B-歌手の後にI-曲）の問題を克服すること。
• CRFに代えて二段階の精錬戦略を採用することで、高精度を維持しつつ高速な推論を実現するメカニズムを開発すること。
• 事前学習手法（GloVe、BERT）が提案モデルに与える効果を評価し、耐障害性およびOOV（未知語）対処能力の向上を図ること。

提案手法

• 自己回帰的でないTransformerベースのエンコーダーを採用し、文脈を並列に予測することで、逐次的依存関係を排除する。
• 二段階の機構を導入：第一段階で初期予測を生成し、第二段階でBタグ（開始タグ）を追加入力として用いてそれを精錬する。
• 各トークン位置に初期タグ埋め込み（'O'（外部）を含む）を挿入し、精錬プロセスをガイドする。
• 第二段階で、スロット境界の一貫性を明示的にモデル化するため、学習可能な精錬ヘッドを用いてスロットタグを精錬する。
• Transformerエンコーダー内でマルチヘッド自己注意機構を適用し、文レベルおよび語彙レベルの表現を捉える。
• GloVeやBERTの埋め込みを統合して事前学習を実施し、一般化性能を向上させ、特にOOV語に対して有効である。微調整は二段階の精錬機構を用いて行う。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰的モデルが、推論速度を著しく向上させながらも、共同意図検出とスロット埋め込みで最先端の性能を達成できるか？
• RQ2 提案された二段階の精錬機構が、標準の非自己回帰的モデルと比較して、非整合スロット予測（例：Bタグの後にIタグ）を効果的に低減できるか？
• RQ3 スロット埋め込みにおいて、二段階機構はCRFと比較して性能と効率の両面で優れているか？
• RQ4 GloVe や BERT などの事前学習スキームが、非自己回帰的モデルの性能にどの程度寄与するか？
• RQ5 SnipsのようにOOV率の高いデータセットにおいて、モデルが特に顕著な向上を示すか？

主な発見

• SlotRefineはATISデータセットで96.22%のスロットF1を達成し、Snipsデータセットでは93.72%を記録。CRFを搭載した先行モデルを大きく上回った。
• 訓練過程における誤差低減の収束速度が速いため、一回目非自己回帰モデルおよびCRF拡張モデルと比較して、非整合スロット誤りをより効果的に低減していることが示された。
• 自己回帰的ベースラインと比較して最大10.77倍の推論速度向上を達成。CRF拡張モデルと比較しても2.8倍の高速化を実現した。
• BERTを用いた事前学習により、ATISで97.74%の意図認識精度と88.64%のスロットF1を達成。同ベンチマークで既存のBERTベースモデルを上回った。
• GloVeを用いた事前学習モデルは、ATISで97.35%の意図認識精度と87.57%のスロットF1を達成。単純な事前学習でも性能向上が見られ、特にOOVが多いSnipsのようなデータセットで顕著な効果を示した。
• 二段階機構はCRFを上回る性能と効率のバランスを実現。CRF拡張モデルと比較して0.89のF1向上を達成しながらも、より高速な推論を維持した。