[논문 리뷰] Learning to Generalize Compositionally by Transferring Across Semantic Parsing Tasks

Zhu Wang, Peter J. Shaw외 2명|arXiv (Cornell University)|2021. 11. 09.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 사전微조정 작업에서 구성적 일반화 능력을 전이하여 목표 의미 분석 작업에 적용하는 DUEL 방법을 제안한다. 구성적 분할에서 인코더와 디코더를 별도로 훈련시킴으로써 이루어지며, GeoQuery 데이터셋의 새로운 구성적 분할에서 최신 기술 수준의 성능을 달성하여, 제로샷 구성적 일반화에서 기존의 베이스라인을 크게 앞서간다.

ABSTRACT

Neural network models often generalize poorly to mismatched domains or distributions. In NLP, this issue arises in particular when models are expected to generalize compositionally, that is, to novel combinations of familiar words and constructions. We investigate learning representations that facilitate transfer learning from one compositional task to another: the representation and the task-specific layers of the models are strategically trained differently on a pre-finetuning task such that they generalize well on mismatched splits that require compositionality. We apply this method to semantic parsing, using three very different datasets, COGS, GeoQuery and SCAN, used alternately as the pre-finetuning and target task. Our method significantly improves compositional generalization over baselines on the test set of the target task, which is held out during fine-tuning. Ablation studies characterize the utility of the major steps in the proposed algorithm and support our hypothesis.

연구 동기 및 목표

• 알려진 언어적 요소의 새로운 조합에 직면했을 때 신경망 모델의 열악한 구성적 일반화 능력에 도전한다.
• 한 작업에서 학습한 구성적 일반화 능력이 유사한 추론을 요구하는 다른 관련 없는 작업으로 전이될 수 있는지 조사한다.
• 사전微조정 작업에서 추출한 구성적 인덕티브 바이어스를 전이하여 의미 분석 작업 간의 전이 학습을 가능하게 하는 방법을 개발한다.
• 微조정 훈련 중에 이러한 분할이 포함되지 않은 유지된 구성적 테스트 분할에서의 제로샷 일반화 성능을 향상시킨다.

제안 방법

• 훈련 및 테스트 세트가 구조적 구성(예: 문장 길이, 문법적 역할)에서 다름을 특징으로 하는 구성적 분할을 가진 사전微조정 작업을 사용하여 신경망 모델을 훈련한다.
• 동일한 사전微조정 작업의 서로 다른 분할에서 인코더와 디코더 헤드를 별도로 훈련시키며, 인코더가 일반화 가능하고 구성적인 표현을 학습하도록 이중 학습 목표를 사용한다.
• 사전 훈련된 인코더를 목표 작업에 적용하고, 목표 작업의 훈련 데이터에서 오직 디코더 헤드만 미세조정하여 사전微조정 과정에서 학습한 구성적 인덕티브 바이어스를 유지한다.
• 사전 훈련된 T5 스타일의 인코더-디코더 모델을 사용하며, 인코더를 표현 학습기로, 디코더를 작업별 특화 헤드로 간주한다.
• 사전微조정 절차를 설계하여 훈련 및 테스트 분할 간의 분포 이탈을 강조함으로써 구성적 일반화 행동을 시뮬레이션한다.
• 제거 실험을 통해 이중 훈련의 필요성과 인코더가 새로운 구성적 분할로의 전이를 가능하게 하는 역할을 확인한다.

실험 결과

연구 질문

• RQ1 한 의미 분석 작업에서 학습한 구성적 일반화 능력이 구조적으로 다름을 특징으로 하는 다른 의미 분석 작업으로 효과적으로 전이될 수 있는가?
• RQ2 인코더와 디코더를 서로 다른 구성적 분할에서 훈련하는 것이 목표 작업의 새로운 테스트 분할에서의 제로샷 일반화 성능을 향상시키는가?
• RQ3 표준 지도 미세조정 대비 이중 사전微조정 전략은 구성적 일반화 성능에서 어떻게 비교되는가?
• RQ4 제안된 방법에서 일반화 향상에 가장 기여하는 구성 요소는 무엇이며, 각각 어떤 방식으로 기여하는가?

주요 결과

• DUEL은 GeoQuery 데이터셋의 Target Maximum Compound Divergence 분할(geo_cd)에서 구성적 일반화 능력을 크게 향상시켜 이전 최고 기술 수준의 신경망 모델을 능가한다.
• GeoQuery 길이 일반화 분할(geo_len)에서는 강력한 베이스라인 대비 상당한 성능 향상을 기록하며, 더 긴 문장으로의 제로샷 일반화 능력이 뛰어나다는 것을 입증한다.
• 제거 실험 결과 이중 훈련이 전이에 필수적이며, 인코더가 학습한 표현이 일반화를 가능하게 하는 데 핵심적인 역할을 한다는 것이 확인되었다.
• 사전微조정 작업과 목표 작업이 매우 다를 경우에도 이 방법은 효과적으로 일반화된다. 예를 들어, 합성 데이터셋(COGS, SCAN)에서 실세계 데이터셋(GeoQuery)으로의 전이에서도 성능이 뛰어나다.
• 사전微조정 작업과 목표 작업이 너무 유사할 경우 전이 성능이 제한되며, 이는 이 방법이 구조적 다양성이 높은 작업 간에서 가장 효과적임을 시사한다.
• 이 방법은 COGS, GeoQuery, SCAN의 세 가지 서로 다른 의미 분석 데이터셋에서 효과적으로 작동하여, 전이 가능한 인덕티브 바이어스의 광범위한 적용 가능성을 입증한다.