[論文レビュー] LINGUIST: Language Model Instruction Tuning to Generate Annotated Utterances for Intent Classification and Slot Tagging

Andy Rosenbaum, Saleh Soltan+3 more|arXiv (Cornell University)|Sep 20, 2022

Topic Modeling被引用数 11

ひとこと要約

Linguist は、5Bパラメータを持つseq2seq言語モデルを用いて、高品質で多言語対応の意図分類およびスロットタギング（IC+ST）データを生成する、新しいインstructチューニング手法を提案する。柔軟な自然言語インストラクションプロンプトで微調整することで、正確なスロット制御が可能なアノテート済み発話文を生成し、10ショットの新規意図設定においてICリcallで+1.9、ST F1で+2.5の向上を達成。バックトランスレーションや例の拡張法を上回る性能を発揮する。

ABSTRACT

We present LINGUIST, a method for generating annotated data for Intent Classification and Slot Tagging (IC+ST), via fine-tuning AlexaTM 5B, a 5-billion-parameter multilingual sequence-to-sequence (seq2seq) model, on a flexible instruction prompt. In a 10-shot novel intent setting for the SNIPS dataset, LINGUIST surpasses state-of-the-art approaches (Back-Translation and Example Extrapolation) by a wide margin, showing absolute improvement for the target intents of +1.9 points on IC Recall and +2.5 points on ST F1 Score. In the zero-shot cross-lingual setting of the mATIS++ dataset, LINGUIST out-performs a strong baseline of Machine Translation with Slot Alignment by +4.14 points absolute on ST F1 Score across 6 languages, while matching performance on IC. Finally, we verify our results on an internal large-scale multilingual dataset for conversational agent IC+ST and show significant improvements over a baseline which uses Back-Translation, Paraphrasing and Slot Catalog Resampling. To our knowledge, we are the first to demonstrate instruction fine-tuning of a large-scale seq2seq model to control the outputs of multilingual intent- and slot-labeled data generation.

研究の動機と目的

• 会話エージェントにおける新規意図、スロット、言語のラベル付き学習データの不足に取り組むこと。
• 意図分類およびスロットタギング（IC+ST）のための高品質で多言語対応かつスロット制御可能な合成学習データを生成すること。
• 事前例なしに意図およびスロットラベル名のみを用いてゼロショットおよびフェイシングショットのデータ生成を可能にすること。
• 制御されたスロットアノテーション付きの対応する多言語発話文を生成することで、IC+STにおけるクロスリンガル性能を向上させること。
• 低リソース環境における構造化データ生成のため、大規模なseq2seqモデルに対するインストラクションチューニングの有効性を実証すること。

提案手法

• 目的の出力形式（意図、スロットタイプ、値を含む）を指定する構造化インストラクションプロンプトで、多言語対応のseq2seqモデル（AlexaTM 5B）を微調整する。
• 生成を誘導するため、入力言語、意図、値付きの必須スロット、および例示発話文を含む自然言語インストラクションプロンプトを設計する。
• 微調整済みモデルを用いて、事前例なしにラベル名のみを用いて、新規意図やゼロショットスロットタイプのための新しいアノテート済み発話文を生成する。
• 生成されたデータを下流のIC+STモデルの学習セットに統合し、一般化性能およびゼロショット性能を向上させる。
• モデルが1つの出力内で発話文と対応するスロットアノテーションを両方生成できる能力を活用し、整合性を保証する。
• SNIPS、mATIS++、および社内多言語データセットを用いてゼロショットおよびフェイシングショット設定で評価し、堅牢性およびスケーラビリティを検証する。

実験結果

リサーチクエスチョン

• RQ1 インストラクションチューニングされた大規模言語モデルは、スロットタイプおよび値に対して正確な制御が可能な高品質で多言語対応のIC+STデータを生成できるか？
• RQ2 フェイシングショットおよびゼロショット設定において、バックトランスレーションや例の拡張法といった強力なベースラインと比較して、生成データの性能はどの程度か？
• RQ3 事前例なしに意図およびスロットラベル名のみを用いて、モデルは新規意図に一般化できるか？
• RQ4 特にmATIS++における複数言語間で、この手法はどの程度のクロスリンガル性能を発揮するか？
• RQ5 生成された合成データは、実世界のスケールの大きな多言語会話エージェントデータに対して、下流のIC+STモデル性能を顕著に向上させるか？

主な発見

• SNIPSの10ショット新規意図設定において、Linguistはバックトランスレーションおよび例の拡張法ベースラインに対して、ICリcallで+1.9ポイント、ST F1で+2.5ポイントの向上を達成した。
• mATIS++のクロスリンガルベンチマークにおいて、LinguistはスロットタギングのF1で6言語にわたり+4.14ポイントの向上を達成し、強力な機械翻訳ベースラインを上回り、IC性能は同等を維持した。
• ゼロショット意図生成において、Linguistは事前例なしで新しいSNIPS意図に対して80.0%のICリcallおよび56.9%のST F1を達成し、真のゼロショット能力を示した。
• 社内の大規模多言語データセットにおいて、Linguistはバックトランスレーション、並び替え、スロットカタログ再サンプリングを用いたベースラインを顕著に上回った。
• 本手法は、大規模なseq2seqモデルを意図およびスロットラベル付きの制御された構造を持つ多言語データにインストラクションチューニングする初の試みである。
• モデルは1つの出力内で発話文と整合性のあるスロットアノテーションを両方生成し、下流の学習に適した高品質で一貫性のあるデータを保証する。