[論文レビュー] Simple is Better! Lightweight Data Augmentation for Low Resource Slot Filling and Intent Classification

Samuel Louvan, Bernardo Magnini|arXiv (Cornell University)|Sep 8, 2020

Topic Modeling参考文献 29被引用数 11

ひとこと要約

本論文では、依存解析を用いたスパンレベルの置換と文レベルの構造的操作（カット/ローテート）を用いて、低リソーススロットフィルティングおよび意図分類のための軽量なデータ拡張手法を提案する。単純であるにもかかわらず、ATISおよびSNIPSの性能を顕著に向上させ、複雑なディープラーニングベースの拡張手法を上回り、低データ環境下でのBERTベースのモデルの性能をも向上させる。

ABSTRACT

Neural-based models have achieved outstanding performance on slot filling and intent classification, when fairly large in-domain training data are available. However, as new domains are frequently added, creating sizeable data is expensive. We show that lightweight augmentation, a set of augmentation methods involving word span and sentence level operations, alleviates data scarcity problems. Our experiments on limited data settings show that lightweight augmentation yields significant performance improvement on slot filling on the ATIS and SNIPS datasets, and achieves competitive performance with respect to more complex, state-of-the-art, augmentation approaches. Furthermore, lightweight augmentation is also beneficial when combined with pre-trained LM-based models, as it improves BERT-based joint intent and slot filling models.

研究の動機と目的

• ラベル付きトレーニングデータが乏しい状況でのスロットフィルティングおよび意図分類の性能劣化という課題に対処すること。
• 別個の生成モデルをトレーニングする必要のない低複雑性のデータ拡張手法を開発すること。
• 標準的な biLSTM モデルおよび BERT などの大規模事前学習言語モデルに対して、軽量拡張の有効性を評価すること。
• 単純な拡張技術が低リソース環境での性能向上に効果的に寄与するかどうかを調査すること。
• 軽量拡張と事前学習モデルを用いた転移学習の相乗効果を探索すること。

提案手法

• スロットラベルが同一の意味的に同等のスパンを、異なる発話間で交換することで多様なトレーニング例を生成するスロット置換（Slot-Sub）を提案する。
• 依存解析ツリーを用いて文レベルの拡張を実施し、構文的構造を変更しながら意味を保持するカットおよびローテート操作を適用する。
• スロットスパンを特定するためにBIOタギングを用い、置換がトレーニングデータ全体で一貫したスロットラベルを維持することを保証する。
• 各元の文に対して、合成トレーニングサンプルの多様性を高めるために、拡張操作をN回適用する。
• BERT、RoBERTa、ALBERT などの事前学習言語モデルの微調整と拡張を組み合わせ、転移学習の利点を評価する。
• 生成されたバリエーションの構文的・意味的整合性を保証するため、依存解析を文レベル操作のガイドとして用いる。

実験結果

リサーチクエスチョン

• RQ1 軽量で生成的でないデータ拡張技術は、低リソーススロットフィルティングおよび意図分類の性能向上に寄与するか？
• RQ2 スロット置換は、より複雑なディープラーニングベースのデータ拡張手法と比較して、有効性および効率性において優れているか？
• RQ3 大規模事前学習言語モデルは、低データ環境下で軽量データ拡張からどの程度の恩恵を受けるか？
• RQ4 軽量拡張と転移学習を組み合わせることで、単独で用いる場合よりも優れた結果が得られるか？
• RQ5 単純なテキストスパンおよび文構造の操作は、意味を保ちつつトレーニングデータの多様性を高めることができるか？

主な発見

• 軽量拡張は、ATISおよびSNIPSにおけるスロットフィルティング性能を顕著に向上させ、ベースラインモデルと比較してATISで最大3.0%、SNIPSで最大3.0%のF1スコア向上を達成した。
• Slot-Sub（スロット置換）が最も効果的な拡張手法であり、文レベルの操作や複雑な生成手法を上回った。
• 軽量拡張を用いて微調整したBERTベースのモデルは、ATISで92.8%、SNIPSで92.8%のF1スコアを達成し、それぞれベースラインを1.2%および3.0%上回った。
• RoBERTa-large や ALBERT-xxlarge といった大規模事前学習モデルも拡張により恩恵を受け、ATISでそれぞれ93.2%および92.9%のF1スコアを達成した。
• Slot-Sub と事前学習モデルの微調整の組み合わせが、すべての設定で最良の全体的な性能を示し、データ拡張と転移学習の相乗効果を実証した。
• 極めて低リソースの環境下でも、軽量拡張は一貫した改善を示し、生成モデルの追加トレーニングを必要とせずに有効であることが証明された。