[논문 리뷰] Compositional Generalization in Semantic Parsing: Pre-training vs. Specialized Architectures

Daniel Furrer, Marc van Zee외 2명|arXiv (Cornell University)|2020. 07. 17.

Topic Modeling참고 문헌 63인용 수 74

한 줄 요약

본 논문은 SCAN과 CFQ에서 의미론적 해석의 구성적 일반화에 대한 사전 학습과 특화 아키텍처를 비교하고, MLM 사전 학습이 원시 보유(primitive holds)에서 SCAN에서 영감을 받은 아키텍처와 경쟁하며, 중간 표현과의 결합형 사전 학습이 CFQ에서 최첨단 결과를 달성한다는 것을 보여준다.

ABSTRACT

While mainstream machine learning methods are known to have limited ability to compositionally generalize, new architectures and techniques continue to be proposed to address this limitation. We investigate state-of-the-art techniques and architectures in order to assess their effectiveness in improving compositional generalization in semantic parsing tasks based on the SCAN and CFQ datasets. We show that masked language model (MLM) pre-training rivals SCAN-inspired architectures on primitive holdout splits. On a more complex compositional task, we show that pre-training leads to significant improvements in performance vs. comparable non-pre-trained models, whereas architectures proposed to encourage compositional generalization on SCAN or in the area of algorithm learning fail to lead to significant improvements. We establish a new state of the art on the CFQ compositional generalization benchmark using MLM pre-training together with an intermediate representation.

연구 동기 및 목표

• SCAN과 CFQ에 대해 구성적 일반화를 위해 적용된 여러 아키텍처와 기술을 고찰한다.
• DBCA 기반 분할에서 두 가지 대표 CGP 아키텍처를 평가하여 작업 간 전이 가능성을 평가한다.
• SCAN과 CFQ에서 MLM 사전 학습의 효과성과 중간 표현과의 상호 작용을 평가한다.
• SCAN 기반 분할 이상에서 SCAN에서 영감을 받은 방법이나 알고리즘 학습 방식이 강력한 이점을 제공하는지 여부를 식별한다.
• 사전 학습과 중간 표현을 결합하여 CFQ의 새로운 최첨단 성능을 확립한다.

제안 방법

• 구성적 일반화에 대한 아키텍처와 기법을 범주화하고 검토한다(일반 시퀀스-투-시퀀스, SCAN 영감, 알고리즘 학습, 사전 학습, 중간 표현).
• SCAN과 CFQ의 DBCA 기반 MCD 분할에서 아키텍처를 평가하여 분포 이동 하에서의 구성적 일반화를 측정한다.
• SCAN과 CFQ 분할에서 MLM 사전 학습된 모델(T5 변형)을 비사전 학습 기준과 미세 조정하고 비교한다.
• CFQ에 대해 NL 질문과 출력 구조의 정렬을 위한 중간 SPARQL 표현을 도입하고 T5-11B의 영향력을 테스트한다.
• MCD-mean을 포함한 여러 분할에서 결과를 보고 분석하고 CFQ의 최첨단 성능을 제시한다.

실험 결과

연구 질문

• RQ1 MLM 사전 학습이 SCAN-inspired 아키텍처에 비해 SCAN 및 CFQ의 구성적 일반화를 개선하는가?
• RQ2 SCAN-inspired 아키텍처(CGPS, Neural Shuffle Exchange Network)가 DBCA/MCD 분할로 측정된 분포 이동에 강건한가?
• RQ3 사전 학습과 중간 표현의 결합이 더 우수한 CFQ 성능을 낳는가?
• RQ4 일반-purpose 시퀀스-투-시퀀스 아키텍처와 구성적 일반화 벤치마크의 특수 CG 모델 간의 성능 차이는 어떠한가?
• RQ5 전통적인 SCAN 분할을 넘어 구성적 일반화를 평가하는 데서 얻은 시사는 무엇인가?

주요 결과

• MLM 사전 학습은 비사전 학습 기준에 비해 CFQ 및 원시 보유 SCAN 분할에서 상당한 이점을 제공합니다.
• 사전 학습은 CFQ에서 상당한 향상을 제공하지만 SCAN 길이 분할에서 성능이 감소할 수 있어 길이 일반화 이점은 제한적임을 시사합니다.
• SCAN 영감의 CG 메커니즘(CGPS, NSEN)은 일부 SCAN 분할에서 강력한 결과를 보이지만 CFQ나 DBCA 분할 전반에서 일반-purpose 아키텍처를 지속적으로 능가하지 못합니다.
• 일반-purpose 아키텍처(Transformer, LSTM+A, Evolved Transformer)가 견고한 이점을 제공하며, 모든 분할에서 특수 아키텍처의 뚜렷한 우위를 보이지 않습니다.
• MLM 사전 학습과 중간 SPARQL 표현의 결합은 CFQ에서 새로운 SOTA 점수( MCD-mean 분할에서 42.1% )를 달성합니다.
• 결과는 SCAN에서의 개선이 자동으로 CFQ로 이전되지 않으며, DBCA 기반 평가에서 아키텍처 간 가변성이 존재함을 시사합니다.