[論文レビュー] CLASP: Few-Shot Cross-Lingual Data Augmentation for Semantic Parsing

Andy Rosenbaum, Saleh Soltan+4 more|arXiv (Cornell University)|Oct 13, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

CLASPは、低リソース環境における意味解析のための合成的訓練データを生成するために大規模言語モデル（AlexaTM 20B）を用いたFew-shot跨言語データ拡張手法を提案する。スロット置換、翻訳、または共同生成を用いて、同じ言語またはターゲット言語でテキストと解析を同時に生成することで、ゼロショット跨言語一般化性能を向上させ、mTOPでは6.1ポイント、英語Pizzaでは4.79ポイントの向上を達成した。訓練例はたった16例のみである。

ABSTRACT

A bottleneck to developing Semantic Parsing (SP) models is the need for a large volume of human-labeled training data. Given the complexity and cost of human annotation for SP, labeled data is often scarce, particularly in multilingual settings. Large Language Models (LLMs) excel at SP given only a few examples, however LLMs are unsuitable for runtime systems which require low latency. In this work, we propose CLASP, a simple method to improve low-resource SP for moderate-sized models: we generate synthetic data from AlexaTM 20B to augment the training set for a model 40x smaller (500M parameters). We evaluate on two datasets in low-resource settings: English PIZZA, containing either 348 or 16 real examples, and mTOP cross-lingual zero-shot, where training data is available only in English, and the model must generalize to four new languages. On both datasets, we show significant improvements over strong baseline methods.

研究の動機と目的

• 意味解析における人手によるアノテーション訓練データの不足、特に多言語環境下での課題に対処すること。
• 通常のデータ拡張ではテキストの変更が解析の整合性を損なうため、意味解析におけるその限界を克服すること。
• 大規模言語モデルを用いて高品質な合成訓練例を生成することで、効果的なFew-shot跨言語一般化を実現すること。
• 大規模事前学習やランタイムLLMに依存せずに、中程度のサイズのモデル（例：5億パラメータ）の低リソース環境下での性能を向上させること。
• テキスト-解析の整合性を維持し、スロットの不一致やキャピタライゼーションエラーなどの失敗モードに対処できる、堅牢でエンドツーエンドのデータ拡張パイプラインの開発

提案手法

• CLASPは4つのプロンプティング戦略を用いる：RS（スロットを置換し、同じ言語でテキストを生成）、TS（スロットを翻訳し、新しい言語でテキストを生成）、GB（同じ言語でテキストと解析を両方生成）、TB（跨言語設定でテキストと解析を両方翻訳）。
• 各手法において、出力フォーマットの一貫性を保ち、ゼロショット一般化を向上させるために、いくつかのコンテキスト例（「意味解析：... 英語への翻訳：...」として表現）をプロンプトに含める。
• スロット値のキャピタライゼーション不一致（例：'nicole' → 'Nicole'）を是正するための「キャピタライゼーション修正」回復メカニズムを導入。生成されたテキスト内で大文字小文字を無視した一致を検索する。
• 跨言語生成では、機械翻訳（OpusまたはLLMベース）を実行した後、Sim-Alignを用いて翻訳済みテキストを元の解析構造に一致させる。
• 4つの失敗モードのヒューリスティックを用いて出力をフィルタリング：スロット値が欠落している、ターゲットが不連続である、入力のverbatimコピーである、出力に「Sentence」という語が含まれている。
• 最終的な合成データセットを用いて、より小さなモデル（例：5億パラメータ）を微調整し、低リソースおよびゼロショット跨言語意味解析設定での性能を向上させる。

Figura 1: Cross-lingual Data Augmentation: AlexaTM 20B sees only a few examples of mTOP Semantic Parsing and can generate data in multiple languages.

実験結果

リサーチクエスチョン

• RQ1 LLMを用いたデータ拡張は、低リソース環境下でのFew-shot意味解析性能を顕著に向上させることができるか？
• RQ2 LLMプロンプティングによる跨言語データ生成は、言語間でテキスト-解析の整合性を維持するのに効果的か？
• RQ3 機械翻訳ベースの意味解析における支配的失敗モードは何か？そして、フィルタリングと回復メカニズムによって是正可能か？
• RQ4 テキストと解析の共同生成（GB/TB）は、逐次生成（RS/TS）に比べて意味の整合性をよりよく保っているか？
• RQ5 200億パラメータのLLMから生成された合成データは、5億パラメータのモデルのゼロショット跨言語意味解析性能を効果的に向上させることができるか？

主な発見

• 英語Pizzaデータセットにおいて16例の訓練例でのみ、Unordered Exact Matchが80.40から85.19に上昇し、4.79ポイントの向上を達成した。
• mTOP跨言語ゼロショットベンチマークでは、スロット整合性を伴う機械翻訳と比較して、Exact Matchが6.1ポイント向上（60.3から66.4に）した。
• フィルタリング済みの機械翻訳出力の成功率は、ヒンディ語で58.3％からドイツ語で86.7％まで変動し、とくに距離の遠い言語ペアでは跨言語整合性に顕著な課題があることが示された。
• 「キャピタライゼーション修正」回復メカニズムは、20Bパラメータの出力の13.4％でキャピタライゼーション不一致を正常に是正し、それにより失敗を回避できた。
• 「Sentence」という語が含まれる出力（ヒンディ語で13.4％）をフィルタリングすることが不可欠であった。これは、プロンプト設計と出力フォーマット制約が信頼性の高い生成に不可欠であることを示唆している。
• CLASPは両方のデータセットで強力なベースラインを上回り、大規模LLMから生成された合成データが、低リソース意味解析における小規模モデルの性能向上に効果的に寄与できることを実証した。

Figura 2: Comparing “flat” semantics (Slot Tagging and Intent Classification, upper) to Semantic Parsing (lower).