[論文レビュー] XRICL: Cross-lingual Retrieval-Augmented In-Context Learning for Cross-lingual Text-to-SQL Semantic Parsing

Peng Shi, Rui Zhang+2 more|arXiv (Cornell University)|Oct 25, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、ゼロショットのクロスリンガルテキストtoSQL意味解析のためのクロスリンガルリtrieval増強型インスタント学習フレームワークXRICLを提案する。非英語クエリをSQLに翻訳するため、関連する英語の例示を取得し、翻訳指示プロンプトを用いてCodexなどの大規模言語モデル（LLM）をガイドすることで、XSpider や XKaggle-dbqa を含むマルチリンガルベンチマークで最先端のパフォーマンスを達成した。

ABSTRACT

In-context learning using large language models has recently shown surprising results for semantic parsing tasks such as Text-to-SQL translation. Prompting GPT-3 or Codex using several examples of question-SQL pairs can produce excellent results, comparable to state-of-the-art finetuning-based models. However, existing work primarily focuses on English datasets, and it is unknown whether large language models can serve as competitive semantic parsers for other languages. To bridge this gap, our work focuses on cross-lingual Text-to-SQL semantic parsing for translating non-English utterances into SQL queries based on an English schema. We consider a zero-shot transfer learning setting with the assumption that we do not have any labeled examples in the target language (but have annotated examples in English). This work introduces the XRICL framework, which learns to retrieve relevant English exemplars for a given query to construct prompts. We also include global translation exemplars for a target language to facilitate the translation process for large language models. To systematically evaluate our model, we construct two new benchmark datasets, XSpider and XKaggle-dbqa, which include questions in Chinese, Vietnamese, Farsi, and Hindi. Our experiments show that XRICL effectively leverages large pre-trained language models to outperform existing baselines. Data and code are publicly available at https://github.com/Impavidity/XRICL.

研究の動機と目的

• 大規模言語モデルを用いたインスタント学習により、非英語言語向けに効果的なクロスリンガルテキストtoSQL意味解析手法の不足を補う。
• ターゲット言語にラベル付き例示が存在しないゼロショット転送の課題を克服する。
• 非英語クエリのための関連する英語例示を検索・再順序付けすることで、少数例インスタント学習のパフォーマンスを向上させる。
• グローバル翻訳例示を導入することで、クエリを英語に翻訳した後にSQLを生成するようにモデルをガイドすることで、クロスリンガル一般化を促進する。
• 新しく構築されたマルチリンガルベンチマーク上で体系的にフレームワークを評価し、ゼロショットクロスリンガル転送能力を評価する。

提案手法

• mT5を用いて、クロスリンガル意味的類似性に基づき関連する英語の質問-SQLペアを検索する英語例示リトリーバーを訓練する。
• LLM（Codex）からのソフトラベルを用いた自己蒸留により、人為的フィードバックを必要とせずにリトリーバーのパフォーマンスを最適化する。
• LLMの生成分布における尤度に基づき、取得した例示を再順序付けする再順序付けモジュールを適用する。
• 非英語クエリを英語に翻訳するようモデルに指示する翻訳例示を含むプロンプトを構築する。
• 翻訳例示を介してチェーン・オブ・トゥーク（思考の道筋）プロンプトを適用し、推論中に推論力とクロスリンガル整合性を向上させる。
• 取得した例示と翻訳プロンプトをインスタント学習設定に統合し、CodexがSQLクエリを生成するようにする。

実験結果

リサーチクエスチョン

• RQ1 Codexなどの大規模言語モデルを用いたインスタント学習は、ターゲット言語にラベル付き例示が一切存在しない状況でも、ゼロショットクロスリンガルテキストtoSQL解析を効果的に行えるか？
• RQ2 リトリーブ増強型例示選択は、クロスリンガル意味解析における少数例インスタント学習のパフォーマンスをどの程度向上させるか？
• RQ3 チェーン・オブ・トゥークプロンプトとしての翻訳例示を組み込むことで、テキストtoSQL生成におけるクロスリンガル一般化が向上するか？
• RQ4 提案フレームワークは、複数の低リソース言語における正確一致（EM）正答率の観点から、強力なベースラインと比べてどの程度優れているか？
• RQ5 1つの言語ペアごとに1つの翻訳例示が、多様な非英語クエリにどの程度一般化可能か？

主な発見

• XRICLは強力なベースライン、特にTemplate Oracleを上回り、XSpider全データセットでは52.5のEM正答率、サブセットでは58.0を達成した。
• リトリーブと再順序付けのコンponentsは例示の質を著しく向上させ、ランダムまたは精錬なしのリトリーブに比べて顕著なパフォーマンス向上をもたらした。
• グローバル翻訳例示をチェーン・オブ・トゥークプロンプトとして追加することで、さらにパフォーマンスが向上し、クロスリンガルギャップを埋める有効性が示された。
• 本フレームワークは、中国語、ベトナム語、ペルシャ語、ヒンディー語の4言語において、XSpiderおよびXKaggle-dbqaベンチマークで最先端の結果を達成した。
• LLMが生成したソフトラベルに基づき自己蒸留で訓練されたリトリーバーは、ターゲット言語のアノテーションを一切必要とせず、強力なゼロショットクロスリンガルリトリーブパフォーマンスを達成した。
• モデルは多様な言語に強く一般化しており、言語固有のデータが最小限でも本フレームワークが有効であることが示された。