[論文レビュー] Compositional Generalization in Semantic Parsing: Pre-training vs. Specialized Architectures

Daniel Furrer, Marc van Zee+2 more|arXiv (Cornell University)|Jul 17, 2020

Topic Modeling参考文献 63被引用数 74

ひとこと要約

この論文は、SCANとCFQにおける意味解析の構成的一般化について、事前学習と専門アーキテクチャを比較し、MLM pre-training が primitive holds で SCAN に着想を得たアーキテクチャに匹敵すること、そして中間表現を組み合わせた事前学習が CFQ の最新の結果を達成することを示している。

ABSTRACT

While mainstream machine learning methods are known to have limited ability to compositionally generalize, new architectures and techniques continue to be proposed to address this limitation. We investigate state-of-the-art techniques and architectures in order to assess their effectiveness in improving compositional generalization in semantic parsing tasks based on the SCAN and CFQ datasets. We show that masked language model (MLM) pre-training rivals SCAN-inspired architectures on primitive holdout splits. On a more complex compositional task, we show that pre-training leads to significant improvements in performance vs. comparable non-pre-trained models, whereas architectures proposed to encourage compositional generalization on SCAN or in the area of algorithm learning fail to lead to significant improvements. We establish a new state of the art on the CFQ compositional generalization benchmark using MLM pre-training together with an intermediate representation.

研究の動機と目的

• SCANとCFQに対して構成的一般化に適用されたさまざまなアーキテクチャと技術を調査する。
• DBCAベースの分割で二つの代表的な CGP アーキテクチャを評価し、タスク間の移行性を測定する。
• SCANとCFQにおける MLM pre-training の有効性と中間表現との相互作用を評価する。
• SCANに着想を得た手法とアルゴリズム学習アプローチが SCAN/CFQ 固有の分割を超えて頑健な利得を提供するかを特定する。
• 事前学習と中間表現を組み合わせることで新しい CFQ の性能を達成し、SOTA を確立する。

提案手法

• 構成的一般化のためのアーキテクチャと技術を整理・分類する（一般的な seq2seq、SCAN着想、アルゴリズム学習、事前学習、中間表現）。
• SCANとCFQの DBCAベースの MCD 分割でアーキテクチャを評価し、分布シフト下での構成的一般化を測定する。
• SCANとCFQの分割で MLM pre-trained モデル（T5 系）を非事前学習ベースラインと比較・微調整する。
• CFQ の NL 質問と出力構造を整合させる中間 SPARQL 表現を導入し、T5-11B での影響を評価する。
• MCD-mean を含む複数の分割で結果を報告・分析し、CFQ の現行 SOTA を示す。

実験結果

リサーチクエスチョン

• RQ1 MLM pre-training は SCAN-inspired アーキテクチャと比較して SCANおよび CFQ の構成的一般化を改善するか。
• RQ2 SCAN-inspired アーキテクチャ（CGPS、Neural Shuffle Exchange Network）は DBCA/MCD 分割で測定される分布シフトに対して頑健か。
• RQ3 事前学習と中間表現を組み合わせると CFQ の性能は優越するか。
• RQ4 一般目的の seq2seq アーキテクチャは構成的一般化ベンチマークで専門的 CG モデルと比較してどうか。
• RQ5 従来の SCAN 分割を超えた構成的一般化の評価から得られる洞察は何か。

主な発見

• MLM pre-training は CFQ および primitive-holdout SCAN 分割で非事前学習ベースラインと比較して有意な利得を示す。
• 事前学習は CFQ に大きな改善をもたらす一方、SCAN の長さ分割ではパフォーマンスが低下する可能性があり、長さ一般化の利点は限られていることが示唆される。
• SCAN に着想を得た CG メカニズム（CGPS、NSEN）は一部の SCAN 分割で強力な結果を示すが、CFQ や DBCA 分割全体で一般的な優位性を示せない。
• 一般目的のアーキテクチャ（Transformer、LSTM+A、Evolved Transformer）は堅牢な利得を示し、全分割を通じて特定の専門アーキテクチャの一貫した優位性は見られない。
• MLM pre-training と中間 SPARQL 表現を組み合わせると、新しい CFQ スコア（MCD-mean 分割で 42.1%）の SOTA を達成する。
• 結果は SCAN の改善が自動的に CFQ に転送されるわけではなく、DBCA ベースの評価はアーキテクチャ間でばらつきを示す。