[论文解读] Compositional Generalization in Semantic Parsing: Pre-training vs. Specialized Architectures

Daniel Furrer, Marc van Zee+2 more|arXiv (Cornell University)|Jul 17, 2020

Topic Modeling参考文献 63被引用 74

一句话总结

本文比较在 SCAN 与 CFQ 上的語義解析中的組合通用性，對比預訓練與專用架構，結果顯示 MLM 預訓練在原始項保持上接近 SCAN 启發的架構；將預訓練與中間表示結合可取得 CFQ 的最新狀態（SOTA）結果。

ABSTRACT

While mainstream machine learning methods are known to have limited ability to compositionally generalize, new architectures and techniques continue to be proposed to address this limitation. We investigate state-of-the-art techniques and architectures in order to assess their effectiveness in improving compositional generalization in semantic parsing tasks based on the SCAN and CFQ datasets. We show that masked language model (MLM) pre-training rivals SCAN-inspired architectures on primitive holdout splits. On a more complex compositional task, we show that pre-training leads to significant improvements in performance vs. comparable non-pre-trained models, whereas architectures proposed to encourage compositional generalization on SCAN or in the area of algorithm learning fail to lead to significant improvements. We establish a new state of the art on the CFQ compositional generalization benchmark using MLM pre-training together with an intermediate representation.

研究动机与目标

• 調查先前應用於 SCAN 與 CFQ 的一系列用於組成性泛化的架構與技術。
• 在基於 DBCA 的拆分上評估兩個具有代表性的 CGP 架構，以評估跨任務的遷移性。
• 評估 MLM 預訓練在 SCAN 與 CFQ 上的有效性及其與中間表示的交互作用。
• 識別 SCAN 啟發或算法學習方法是否在超越 SCAN/CFQ 專用拆分時提供穩健的增益。
• 通過將預訓練與中間表示結合，確立 CFQ 的新一代 SOTA 性能。

提出的方法

• 回顧並對用於組成性泛化的架構與技術進行分類（通用的 seq2seq、SCAN 启发、算法学习、预训练、中間表示）。
• 在基於 DBCA 的 MCD 拆分上評估 SCAN 與 CFQ 的架構，以在分布遷移下衡量組成性泛化。
• 微調並比較 MLM 預訓練模型（T5 變體）與未預訓練基線在 SCAN 與 CFQ 拆分上的表現。
• 為 CFQ 引入一個中間 SPARQL 表示，将自然語言問題與輸出結構對齊，並測試其在 T5-11B 上的影響。
• 在多個拆分上報告並分析結果，包括 MCD-mean，並提供 CFQ 的 state-of-the-art 性能。

实验结果

研究问题

• RQ1 與 SCAN 啟發的架構相比，MLM 預訓練是否能提升在 SCAN 與 CFQ 上的組成性泛化？
• RQ2 基於 SCAN 的架構（CGPS、Neural Shuffle Exchange Network）在 DBCA/MCD 拆分所測量的分佈遷移下是否具備魯棒性？
• RQ3 將預訓練與中間表示結合是否能帶來更優的 CFQ 性能？
• RQ4 通用的 seq2seq 架構與專用的 CG 模型在組成性泛化基準上的比較如何？
• RQ5 超越傳統的 SCAN 拆分，在評估組成性泛化方面有哪些見解？

主要发现

• 與未預訓練基線相比，MLM 預訓練在 CFQ 以及原始項保持的 SCAN 拆分上帶來顯著提升。
• 預訓練在 CFQ 上提供顯著提升，但在 SCAN 的長度拆分上可能降低性能，表明對長度泛化的收益有限。
• SCAN 啟發的 CG 機制（CGPS、NSEN）在某些 SCAN 拆分上顯示出強結果，但在 CFQ 或整個 DBCA 拆分中未能持續性地優於通用架構。
• 通用架構（Transformer、LSTM+A、演化 Transformer）帶來穩健的提升，未在所有拆分上顯示出專用架構的明確、持續優勢。
• 將 MLM 預訓練與中間 SPARQL 表示結合，得到 CFQ 的新一代 SOTA 分數（MCD-mean 拆分下 42.1%）。
• 結果表明在 SCAN 上的改進並不自動轉移到 CFQ，且基於 DBCA 的評估揭示了架構之間的變異性。