[논문 리뷰] Improving Compositional Generalization with Latent Structure and Data Augmentation

Linlu Qiu, Peter Shaw외 5명|arXiv (Cornell University)|2021. 12. 14.

Natural Language Processing Techniques인용 수 13

한 줄 요약

이 논문은 신경 시퀀스-투-시퀀스 모델의 조합 일반화 성능을 향상시키기 위해 구성 구조 학습기(Compositional Structure Learner, CSL)를 사용한 데이터 증강 방법을 제안한다. CSL은 준동기적 문맥 자유 문법(QCFG) 기반의 생성 모델로, 훈련 데이터로부터 잠재적 조합 구조를 유도하고 합성 훈련 예제를 생성함으로써 T5 미세조정 성능을 향상시킨다. 이로 인해 진단 및 실제 응용 환경의 의미 해석 작업에서 기존 최고 성능를 초월하는 성능을 달성한다. 특히 T5-CSL 앙상블조차도 뛰어넘는다.

ABSTRACT

Generic unstructured neural networks have been shown to struggle on out-of-distribution compositional generalization. Compositional data augmentation via example recombination has transferred some prior knowledge about compositionality to such black-box neural models for several semantic parsing tasks, but this often required task-specific engineering or provided limited gains. We present a more powerful data recombination method using a model called Compositional Structure Learner (CSL). CSL is a generative model with a quasi-synchronous context-free grammar backbone, which we induce from the training data. We sample recombined examples from CSL and add them to the fine-tuning data of a pre-trained sequence-to-sequence model (T5). This procedure effectively transfers most of CSL's compositional bias to T5 for diagnostic tasks, and results in a model even stronger than a T5-CSL ensemble on two real world compositional generalization tasks. This results in new state-of-the-art performance for these challenging semantic parsing tasks requiring generalization to both natural language variation and novel compositions of elements.

연구 동기 및 목표

• 기존 요소의 분포 외 조합에서 실패하는 신경 시퀀스-투-시퀀스 모델의 조합 일반화 문제를 해결하기 위해.
• 태스크 전용 아키텍처 설계나 광범위한 인간 주석 없이도 새로운 조합에 대한 일반화 능력을 향상시키기 위해.
• 구조화된 생성 모델의 조합 편향을 T5와 같은 유연한 사전 훈련된 시퀀스-투-시퀀스 모델로 전이할 수 있는 데이터 증강 방법을 개발하기 위해.
• 실제 의미 해석 벤치마크에서 기존 방법, 특히 전문화된 모델 앙상블보다 더 뛰어난 성능을 달성하기 위해.

제안 방법

• CSL은 훈련 데이터로부터 자동으로 유도된 준동기적 문맥 자유 문법(QCFG) 기반의 생성 모델로 훈련된다.
• 모델은 입력-출력 쌍에 대한 확률 분포를 학습함으로써, 훈련 예제를 재귀적으로 재조합하여 새로운 조합 형태의 예제를 생성할 수 있다.
• 합성 훈련 예제는 CSL에서 샘플링되어 원본 데이터와 함께 조합되어 사전 훈련된 T5 시퀀스-투-시퀀스 모델을 미세조정하는 데 사용된다.
• 이 방법은 CSL의 조합 편향을 활용하면서도 T5의 자연어 변형 및 복잡한 표면 형태 처리 능력을 유지한다.
• CSL은 문법 규칙에 대한 미분 가능 탐색 알고리즘을 사용해 엔드 투 엔드로 훈련되며, 태스크 전용 제약 없이 고 커버리지 문법 유도를 가능하게 한다.
• 이전 방법과 달리 고정 또는 결정적 재조합을 사용하는 데서 벗어나, 재귀적 재조합과 확률적 샘플링을 허용함으로써 기존 연구를 일반화한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 및 데이터 기반의 조합 구조 유도 방법이 신경 시퀀스-투-시퀀스 모델의 일반화 성능 향상에 기여할 수 있는가?
• RQ2 잠재적 QCFG 구조를 가진 생성 모델이 사전 훈련된 시퀀스 모델에 조합 편향을 전이하는 데 있어, 분류 모델과 비교해 어떤가?
• RQ3 조합 재조합을 통해 생성된 합성 데이터가 실제 조합 일반화 작업 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법이 GECA나 고정 문법 기반 예제 재조합과 같은 기존 데이터 증강 기법보다 우월한가?
• RQ5 CSL 훈련 중에 비라벨 데이터를 포함할 경우, 최종 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• CSL 증강 데이터로 미세조정된 T5 모델은 CFQ와 COGS 진단 작업에서 기존 T5 및 T5-CSL 앙상블을 모두 능가하는 최고 성능를 기록했다.
• 실제 응용 환경의 SMCalFlow-CS 데이터셋에서 T5+CSL-Aug는 기준 T5 모델 대비 도메인 간 일반화 성능에서 7.8%p의 절대적 향상을 달성했다.
• GeoQuery에서 모델은 세 번의 실행 평균 정확도 93.3%와 표준편차 0.2를 기록하여 높은 안정성과 뛰어난 성능를 입증했다.
• 비라벨 데이터 포함 시 1,000개의 합성 예제만 샘플링할 경우 성능 향상이 있었지만, 100,000개 예제에서는 최소한의 성능 향상만 기록하여 포화 또는 커버리지 한계를 시사했다.
• 오류 분석 결과, 단일 도메인 오류의 약 60%와 도메인 간 오류의 약 35%는 일관성 없거나 모호한 주석으로 인한 것으로 나타나, 주석 품질이 핵심 제약 요소임을 확인했다.
• 특히 다층 조직도를 쿼리할 경우 깊이 있는 중첩된 프로그램 구조를 처리하는 데 어려움을 겪어, 복잡한 조합성 처리에 대한 한계를 드러냈다.