[論文レビュー] A survey of joint intent detection and slot-filling models in natural language understanding

H. Weld, Xiaohong HUANG+3 more|arXiv (Cornell University)|Jan 20, 2021

Natural Language Processing Techniques被引用数 25

ひとこと要約

意図検出とスロット充填の共同モデルがどのように進化してきたかの包括的な調査で、傾向、データセット、手法、評価をNLUの2020年半ばまでカバーしています。

ABSTRACT

Intent classification and slot filling are two critical tasks for natural language understanding. Traditionally the two tasks have been deemed to proceed independently. However, more recently, joint models for intent classification and slot filling have achieved state-of-the-art performance, and have proved that there exists a strong relationship between the two tasks. This article is a compilation of past work in natural language understanding, especially joint intent classification and slot filling. We observe three milestones in this research so far: Intent detection to identify the speaker's intention, slot filling to label each word token in the speech/text, and finally, joint intent classification and slot filling tasks. In this article, we describe trends, approaches, issues, data sets, evaluation metrics in intent classification and slot filling. We also discuss representative performance values, describe shared tasks, and provide pointers to future work, as given in prior works. To interpret the state-of-the-art trends, we provide multiple tables that describe and summarise past research along different dimensions, including the types of features, base approaches, and dataset domain used.

研究の動機と目的

• 自然言語理解における意図検出とスロット充填の共同モデルの発展を要約する。
• 分野全体で使用される特徴、モデル、データセットの傾向を強調する。
• 共同タスクにおける課題、評価基準、標準化の取り組みについて論じる。
• 将来の研究方向と新しいドメインや言語への一般化の可能性を特定する。

提案手法

• 意図検出とスロット充填に用いられる特徴エンジニアリング、モデルアーキテクチャ、データセットをたどるため、歴史的および現代の文献を調査する。
• 古典的機械学習からニューラル／トランスフォーマー ベースのアプローチへのマイルストーンを整理する。
• 発見をサブタスクと共同タスク分析に整理し、課題と解決策の議論を行う。
• 引用文献に掲載された方法、データセット、性能傾向を要約した表を提供する。
• SLU研究における標準化の取り組みと評価手法について論じる。

実験結果

リサーチクエスチョン

• RQ1 共同モデルは意図分類とスロット充填をどのようにバランスさせて性能を向上させるのか？
• RQ2 構文特徴は十分に活用されているのか、それとも意味的手がかりが現在の手法を支配しているのか？
• RQ3 あるドメインや言語で訓練されたモデルは、未公開のドメインや言語に一般化できるのか？
• RQ4 進展を形作ったデータセットと評価指標は何か、標準化が不足しているのはどこか？

主な発見

• 意図とスロットラベル間の相互作用を利用して誤伝搬を減らし、全体的な意味フレームの抽出を向上させる。
• RNNs、アテンション機構、事前学習済み埋め込み、トランスフォーマーを含むニューラルアーキテクチャが進展を牽引しており、近年はグラフ埋め込みとメモリネットワークに焦点が移っている。
• データの制約とドメイン適応に対処するため、外部知識ソース、データ拡張、マルチタスク学習が検討されている。
• ATISやSNIPSのような多様なデータセットがベンチマークを支配しており、実験と評価指標の標準化の継続的な要望がある。