[論文レビュー] mRAT-SQL+GAP:A Portuguese Text-to-SQL Transformer

Marcelo Archanjo José, Fábio Gagliardi Cozman|arXiv (Cornell University)|Oct 7, 2021

Topic Modeling参考文献 58被引用数 18

ひとこと要約

本稿では、mBART-50トランスフォーマーモデルを基盤とする多言語テキストtoSQLフレームワーク、mRAT-SQL+GAPを紹介する。英語とポルトガル語のデータセットを統合して微調整することで、ポルトガル語における自然言語からSQLへの翻訳を正確に実現する。主な貢献は、両言語を同時に微調整することで性能が著しく向上することを示したことである。これは、英語のみのベースラインの83%に達する。多言語アプローチが非英語NL2SQLタスクにおいて不可欠であることを強調している。

ABSTRACT

The translation of natural language questions to SQL queries has attracted growing attention, in particular in connection with transformers and similar language models. A large number of techniques are geared towards the English language; in this work, we thus investigated translation to SQL when input questions are given in the Portuguese language. To do so, we properly adapted state-of-the-art tools and resources. We changed the RAT-SQL+GAP system by relying on a multilingual BART model (we report tests with other language models), and we produced a translated version of the Spider dataset. Our experiments expose interesting phenomena that arise when non-English languages are targeted; in particular, it is better to train with original and translated training datasets together, even if a single target language is desired. This multilingual BART model fine-tuned with a double-size training dataset (English and Portuguese) achieved 83% of the baseline, making inferences for the Portuguese test dataset. This investigation can help other researchers to produce results in Machine Learning in a language different from English. Our multilingual ready version of RAT-SQL+GAP and the data are available, open-sourced as mRAT-SQL+GAP at: https://github.com/C4AI/gap-text2sql

研究の動機と目的

• ポルトガル語の自然言語質問を正しいSQLクエリに変換できる堅牢なテキストtoSQLシステムの開発。
• 特にポルトガル語を対象とした非英語NL2SQLタスクにおける多言語事前学習の有効性の調査。
• ポルトガル語データのみで微調整するのと比較して、英語とポルトガル語の両方のデータで訓練することで性能が向上するかの評価。
• 将来の低リソースNL2SQL研究のための、公開可能で多言語対応のRAT-SQL+GAPのバージョンの作成。
• ベンチマーク用に、ポルトガル語用に翻訳されたSpiderデータセットの提供。

提案手法

• mBART-50（多言語BARTの変種）をベースモデルとして採用し、ポルトガル語入力をサポートするようにRAT-SQL+GAPフレームワークを変更。
• Google Cloud Translation APIを用いてSpiderデータセットの自然言語質問をポルトガル語に翻訳し、元のSQLクエリを保持。
• 英語とポルトガル語の質問を統合した訓練データセット上で、mBART-50モデルを微調整。SQLターゲットは共有。
• 英語およびポルトガル語のテストセットに対して、Spider Exact Set Match without Valuesメトリクスを用いて性能を評価。
• 予測時、名前付きエンティティ（例：テレビ番組名）を元の形式のまま保持するハイブリッド推論戦略を実装。
• 多言語モデル、翻訳済みデータセット、トレーニングチェックポイントをmRAT-SQL+GAPプロジェクトとしてオープンソースで公開。

実験結果

リサーチクエスチョン

• RQ1 mBART-50のような多言語トランスフォーマーモデルは、NL2SQLにおいてリソースが乏しい言語であるポルトガル語のテキストtoSQL翻訳を効果的に処理できるか？
• RQ2 英語とポルトガル語の両方のデータで共同微調整することで、ポルトガル語のテストセットでの性能が、ポルトガル語のみのデータで微調整する場合よりも向上するか？
• RQ3 言語固有のキーワードや混合言語エンティティ（例：ポルトガル語の質問に混入する英語の番組名）は、モデルの汎化能力と正確性にどのように影響するか？
• RQ4 複数言語で訓練された多言語モデルが、ポルトガル語のような単一のターゲット言語に推論する際、性能がどの程度低下するか？
• RQ5 語彙的・構文的差異が存在する中で、多言語アプローチが低リソース言語翻訳の課題を緩和できるか？

主な発見

• 英語とポルトガル語の訓練データセットを統合してmBART-50を微調整した結果、英語のみのベースライン性能の83%（ポルトガル語テストセットで0.595 vs. 0.718）に達した。
• 最も性能の高かったモデル、すなわち両言語で微調整されたmBART-50は、英語テストセットで0.664のスコアを記録（英語のみのベースライン0.718の92%）。
• ポルトガル語データのみで訓練した場合の性能（0.588）は、共同微調整に比べて低く、単一言語での微調整が最適でないことが示された。
• モデルは翻訳された質問においても、英語固有の名前（例：番組名）を正しく保持しており、言語の混合にもかかわらず、正しいクエリ生成に寄与した。
• 語彙的・構文的差異が存在する中でも、多言語モデルは十分に一般化でき、複雑なネストされたクエリに対しても、意味的に正しいSQLクエリを生成できた。
• 失敗した予測の手動分析から、エラーがランダムではなく、モデルが誤った場合でも意味的なパターンを学習していることが示された。これは、特定の改善が可能である余地を示唆している。