[論文レビュー] CST5: Data Augmentation for Code-Switched Semantic Parsing

Anmol Agarwal, Jigar Gupta+4 more|arXiv (Cornell University)|Nov 14, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

CST5は、少量のシードセット（約100組の英語・コードスイッチド対応発話ペア）を用いて多言語T5（mT5）モデルを微調整することで、単語単位の英語意味解析データから高品質で意味的に同等のコードスイッチド発話を生成するデータ拡張技術を提案する。この手法は最大20倍のデータ効率向上を達成し、2,000件のラベル付き例で学習したモデルと同等の性能を100件のシード例でのみ達成可能であり、Hinglish-TOP（10,000件の人的アノテーション済み）および17万件の合成コードスイッチド発話をリリースする。

ABSTRACT

Extending semantic parsers to code-switched input has been a challenging problem, primarily due to a lack of supervised training data. In this work, we introduce CST5, a new data augmentation technique that finetunes a T5 model using a small seed set ($\approx$100 utterances) to generate code-switched utterances from English utterances. We show that CST5 generates high quality code-switched data, both intrinsically (per human evaluation) and extrinsically by comparing baseline models which are trained without data augmentation to models which are trained with augmented data. Empirically we observe that using CST5, one can achieve the same semantic parsing performance by using up to 20x less labeled data. To aid further research in this area, we are also releasing (a) Hinglish-TOP, the largest human annotated code-switched semantic parsing dataset to date, containing 10k human annotated Hindi-English (Hinglish) code-switched utterances, and (b) Over 170K CST5 generated code-switched utterances from the TOPv2 dataset. Human evaluation shows that both the human annotated data as well as the CST5 generated data is of good quality.

研究の動機と目的

• Hindi-Englishのような低リソース言語ペアにおける意味解析のためのラベル付きコードスイッチド訓練データの不足に対処すること。
• 平行英語・コードスイッチド発話ペアの小さなシードセットを活用して、合成コードスイッチドデータを生成するデータ拡張手法を開発すること。
• 合成データ生成を活用して、人的アノテーションデータを大幅に削減しつつ意味解析性能を向上させること。
• 今後の多言語NLP研究を支援するため、大規模かつ高品質なコードスイッチド意味解析データセットをリリースすること。

提案手法

• コードスイッチングのパターンを学習するため、平行（英語、コードスイッチド）発話ペアの小さなシードセット（約100）で多言語T5（mT5）モデルを微調整する。
• 微調整済みmT5モデルを用いて、大規模な単語単位の英語意味解析データセット（例：TOPv2）からのコードスイッチド発話を生成する。
• 元の英語発話の意味解析を生成されたコードスイッチド発話と一致させることで、ラベルの監視を維持する。
• フィルタリングと人的評価を実施し、生成データの意味的同等性と自然さを保証する。
• 実データおよび合成データの両方を用いて意味解析器を学習・評価し、性能向上を測定する。
• 並列データが入手できない場合、機械翻訳を用いてシードデータを他の言語ペア（例：スペイン語-英語）に拡張する。

実験結果

リサーチクエスチョン

• RQ1 100組の並列英語・コードスイッチド発話ペアからなる小さなシードセットが、コードスイッチド意味解析のための効果的なデータ拡張を可能にするか？
• RQ2 CST5が生成する合成コードスイッチドデータの質は、人的アノテーション済みデータと比較して意味的同等性および自然さの観点でどの程度か？
• RQ3 CST5を用いたデータ拡張により、同等の意味解析性能を達成するためのラベル付きデータの必要量をどの程度削減できるか？
• RQ4 CST5が生成するデータによる性能向上効果は、特に低リソースまたは複雑なドメイン（例：メモリ）においても成立するか？
• RQ5 CST5はHindi-Englishにとどまらず、スペイン語-英語のような他の言語ペアにも、並列データが最小限の状況でも一般化可能か？

主な発見

• わずか100件のシード例を用いても、CST5が生成したデータにより、2,000件の人的アノテーション済み例で学習したモデルと同等の性能を達成でき、データ要件を20倍削減した。
• CST5で微調整されたXXL mT5モデルは、データ拡張なしのベースラインモデルと比較して、正確一致（EM）正答率で25%の絶対的向上を達成した。
• 人的評価の結果、生成されたコードスイッチド発話の89%が元の英語発話と意味的に同等であることが確認され、98%が自然であると評価された。
• CST5で生成されたデータを用いて学習したモデルは、ベースラインモデルよりも早く飽和したため、高いデータ効率性と低いサンプル複雑性を示した。
• CSTOPスペイン語-英語データセットにおいて、CST5はわずか100件の合成例を用いてEM正答率を69.2%から77.8%まで向上させ、Hindi-Englishを超えた一般化を示した。
• データ不足が最も影響を及ぼす複雑なドメイン（例：メモリ、16の意図、1発話あたり平均2.66個の意図）において、CST5はより顕著な性能向上を示した。