[論文レビュー] Translate & Fill: Improving Zero-Shot Multilingual Semantic Parsing with Synthetic Data

Massimo Nicosia, Zhongdi Qu+1 more|arXiv (Cornell University)|Nov 1, 2021

Topic Modeling参考文献 49被引用数 8

ひとこと要約

本稿では、文脈と解析シグネチャ（例：意図とスロット構造）を入力として、全構文解析を元の発話から再構築するようにトレーニングされた系列対系列モデルを用いて、多言語意味解析のための高品質な合成学習データを生成する新規手法「Translate-and-Fill（TaF）」を提案する。このモデルは、翻訳された発話を埋め込むことで、他の言語へのゼロショット一般化を達成し、アライメントやトークン化に依存するコンponentを必要とせず、3つの多言語意味解析データセットで最先端の性能を達成する。

ABSTRACT

While multilingual pretrained language models (LMs) fine-tuned on a single language have shown substantial cross-lingual task transfer capabilities, there is still a wide performance gap in semantic parsing tasks when target language supervision is available. In this paper, we propose a novel Translate-and-Fill (TaF) method to produce silver training data for a multilingual semantic parser. This method simplifies the popular Translate-Align-Project (TAP) pipeline and consists of a sequence-to-sequence filler model that constructs a full parse conditioned on an utterance and a view of the same parse. Our filler is trained on English data only but can accurately complete instances in other languages (i.e., translations of the English training utterances), in a zero-shot fashion. Experimental results on three multilingual semantic parsing datasets show that data augmentation with TaF reaches accuracies competitive with similar systems which rely on traditional alignment techniques.

研究の動機と目的

• 言語内での監視情報の不足により生じる低リソース言語の多言語意味解析性能の課題に対処すること。
• 従来のデータプロジェクション手法（例：TAP）が依存する複雑で誤りを起こしやすいアライメントおよびプロジェクションパイプラインへの依存を軽減すること。
• 多言語事前学習モデルと解析構造を活用した、多言語意味解析へのゼロショット転移を実現する、堅牢でエンドツーエンドの合成データ生成アプローチを開発すること。
• 最小限の言語内アノテーション作業で、ゼロショット多言語意味解析性能を向上させること。

提案手法

• 入力発話と解析シグネチャ（例：意図とスロット構造）を条件として、主に英語の意味解析データに限定してトレーニングされた系列対系列（seq2seq）フィラー・モデルを構築する。
• 多言語事前学習モデル（特にmT5）を用いて、英語発話とその翻訳をエンコードし、クロスリンガル一般化を可能にする。
• 推論時、英語発話を同じ発話の対象言語へのニューラル機械翻訳（NMT）結果に置き換えながら、解析シグネチャは変更しない。
• モデルは翻訳された発話と解析シグネチャに注目することで、対象言語における完全な解析を生成し、効果的にゼロショット解析を実現する。
• モデルの生成的性質を活用し、単語レベルのアライメントや複雑なラベルプロジェクション論理を必要とせずに、多言語意味解析器のためのシルバー標準学習データを生成する。
• 幻覚やシグネチャの整合性を評価するためのヒューリスティックフィルタを適用したが、合成データのフィルタリングが最終モデルの性能向上に寄与しなかった。

実験結果

リサーチクエスチョン

• RQ1 英語データのみでトレーニングされたseq2seqモデルが、ゼロショットで他の言語において正確な意味解析を生成できるか？
• RQ2 提案手法のTranslate-and-Fillが、語のアライメントとラベルプロジェクションに依存する従来のTAPスタイルのパイプラインを上回るか？
• RQ3 翻訳ノイズ、語彙的変化、合成語や語順の変更といった言語固有の現象に対して、この手法はどれほど頑健か？
• RQ4 TaFを用いて生成された合成データは、言語内微調整と比較して、多言語意味解析性能をどの程度向上させられるか？

主な発見

• Translate-and-Fill（TaF）手法は、3つの多言語意味解析データセットで最先端の性能を達成し、従来のアライメントとプロジェクション技術に依存するシステムを上回った。
• mTOPデータセットでは、ゼロショットと言語内教師ありモデルの間の性能ギャップの90％以上を埋め込み、一部の言語設定で最大12.5％のF1スコア上昇を達成した。
• この手法は、特に語形変化が豊富な言語（例：トルコ語）において強いゼロショット一般化性能を示し、ベースラインのNMTベースのデータ拡張手法を上回った。
• ヒューリスティック分析では、生成された解析のうち2.89％が誤りを含んでおり、その多くは構造的不一致ではなく、スロット値の幻覚に起因していた。これは、入力シグネチャに対する高い整合性を示している。
• 幻覚やシグネチャ不一致に基づく合成データのフィルタリングは、最終モデルの精度向上に寄与しなかった。これは、モデルの一般化能力が頑健であり、合成データが信頼性高く有用であることを示唆している。
• 外部の語アライメント器の必要性が排除され、言語間でのトークン化やサブワード分割の違いに対しても頑健である。