[論文レビュー] Semi-Supervised Few-Shot Intent Classification and Slot Filling

Samyadeep Basu, Karine lp Kiun Chong+8 more|arXiv (Cornell University)|Sep 17, 2021

Topic Modeling参考文献 21被引用数 7

ひとこと要約

本稿では、対照的学習とデータ拡張をプロトタイプネットワークのメタラーニングパイプラインに統合することで、意図分類（IC）およびスロット埋め込み（SF）のための半教師あり少サンプル学習フレームワークを提案する。対照的損失とデータ拡張（特に新規のスロットリストベース手法）を組み合わせることで、少サンプルIC性能が顕著に向上し、SNIPSおよびATISベンチマークにおいて最先端のモデルを上回ることを示している。

ABSTRACT

Intent classification (IC) and slot filling (SF) are two fundamental tasks in modern Natural Language Understanding (NLU) systems. Collecting and annotating large amounts of data to train deep learning models for such systems is not scalable. This problem can be addressed by learning from few examples using fast supervised meta-learning techniques such as prototypical networks. In this work, we systematically investigate how contrastive learning and unsupervised data augmentation methods can benefit these existing supervised meta-learning pipelines for jointly modelled IC/SF tasks. Through extensive experiments across standard IC/SF benchmarks (SNIPS and ATIS), we show that our proposed semi-supervised approaches outperform standard supervised meta-learning methods: contrastive losses in conjunction with prototypical networks consistently outperform the existing state-of-the-art for both IC and SF tasks, while data augmentation strategies primarily improve few-shot IC by a significant margin.

研究の動機と目的

• 限られたラベル付きデータでの低リソースNLUの課題に対処し、少量のラベル付きデータで少サンプル意図分類（IC）およびスロット埋め込み（SF）を改善すること。
• 自己教師あり対照的学習とデータ拡張が、少サンプルIC/SFにおけるメタラーニングの正則化および強化にどのように寄与するかを調査すること。
• IC/SFタスクに特化した新たなデータ拡張戦略（例：スロットリスト値生成）を考案・評価すること。
• メタラーニングパイプラインの異なる段階（サポート vs. クエリ、メタトレイン vs. メタテスト）におけるデータ拡張および対照的学習の影響を体系的に比較すること。
• 複数の正則化技術を効果的に統合した、少サンプルIC/SFの強力な半教師ありベンチマークを確立すること。

提案手法

• メタトレーニング中に微調整されるRoBERTaエンコーダーを用いたプロトタイプネットワークベースのメタラーニングフレームワークを採用し、先行研究で用いられる固定バックボーンに代わる。
• メタトレーニング中にサポートセットおよびクエリセットの両方で対照的損失を最小化することで、対照的学習を正則化手段として導入し、プロトタイプの一般化性能を向上させる。
• スロット値を辞書ベースの代替値に置き換えることで合成発話文を生成する、新規のデータ拡張戦略「スロットリスト値」を提案する。
• バックトランスレーションやEDA（Easy Data Augmentation）といった既存のNLPデータ拡張技術を用い、摂動を加えた訓練例を生成する。
• ICおよびSFヘッドの両方のためのプロトタイプ損失と対照的損失を統合したジョイント損失関数を用い、エンドツーエンド最適化を可能にする。
• 5つのシードでランダムな意図クラス分割を用いた動的エピソードサンプリングを実施し、バイアスのない堅牢な評価を確保する。

実験結果

リサーチクエスチョン

• RQ1 対照的学習は、未観測クラスへの一般化を向上させる少サンプルIC/SFメタラーニングにおける効果的な正則化手段として機能するか？
• RQ2 特にスロットリスト値、バックトランスレーション、EDAといった異なるデータ拡張戦略が、少サンプルICおよびSF性能にどのように影響するか？
• RQ3 データ拡張のタイミングと位置（メタトレーニング時 vs. メタテスト時）がモデル性能に顕著な影響を及えるか？
• RQ4 対照的学習とデータ拡張を組み合わせることで、単独で使用する場合よりも優れた結果が得られるか？
• RQ5 なぜデータ拡張技術はICでは顕著な向上を示すが、SFではほとんど効果がないのか？文法的情報はこのギャップを緩和する役割を果たすのか？

主な発見

• メタトレーニング中にサポートおよびクエリの両方の特徴量に対して対照的学習を適用することで、SNIPS（Kmax=20）では最高で2.5ポイント、ATIS（Kmax=20）では2.1ポイントのIC精度向上が達成され、ベースラインおよび先行SOTAを上回った。
• 対照的学習とスロットリストベースのデータ拡張を組み合わせたアプローチが、全設定において最高のIC精度（SNIPSで92.1%、Kmax=20）およびSF F1（74.8%）を達成した。
• EDA拡張は、メタトレーニングおよびメタテストの両方で適用した場合、SNIPSにおけるIC精度に最大4%の絶対的向上をもたらし、特にKmax=20で顕著に効果的であった。
• バックトランスレーションは、SNIPSではKmax=100でIC性能を向上させたが、ATISでは限定的な向上にとどまり、ドメイン依存の有効性が示された。
• データ拡張はSF F1スコアにほとんど影響を与えず、スロットレベルの摂動が低ショットスロット分類に十分な信号を供給しないことが示唆された。
• モデルに文法的情報を追加してもSFの性能向上はわずかにしか得られず、これはエピソードサンプリングにおけるスロットクラスあたりのショット数が少ないことが主な要因と考えられる。