[논문 리뷰] Learning to Recombine and Resample Data for Compositional Generalization

Ekin Akyürek, Afra Feyza Akyürek외 1명|arXiv (Cornell University)|2020. 10. 08.

Geochemistry and Geologic Mapping참고 문헌 53인용 수 10

한 줄 요약

이 논문은 기호적 구조 없이 신경 시퀀스 모델의 소수 샘플 복합 일반화를 향상시키는 학습된 데이터 증강 방법인 R&R를 제안한다. 프로토타입 기반 생성 모델을 통해 훈련 예제를 재조합하고 희귀한 하위구조를 우선시하는 리샘플링을 통해, R&R는 최소 8개의 예시로부터도 새로운 문장 구조나 어간 형태로 일반화할 수 있도록 해주며, SCAN 및 Sigmorphon 2018 작업에서 표준 신경 모델과 신경 기호 기반 모델을 모두 능가한다.

ABSTRACT

Flexible neural sequence models outperform grammar- and automaton-based counterparts on a variety of tasks. However, neural models perform poorly in settings requiring compositional generalization beyond the training data -- particularly to rare or unseen subsequences. Past work has found symbolic scaffolding (e.g. grammars or automata) essential in these settings. We describe R&R, a learned data augmentation scheme that enables a large category of compositional generalizations without appeal to latent symbolic structure. R&R has two components: recombination of original training examples via a prototype-based generative model and resampling of generated examples to encourage extrapolation. Training an ordinary neural sequence model on a dataset augmented with recombined and resampled examples significantly improves generalization in two language processing problems -- instruction following (SCAN) and morphological analysis (SIGMORPHON 2018) -- where R&R enables learning of new constructions and tenses from as few as eight initial examples.

연구 동기 및 목표

• 표준 신경 시퀀스 모델이 희귀하거나 미리보지 않은 하위구조에 대해 소수 샘플 복합 일반화에서 실패하는 문제를 해결하기 위해.
• 신경 모델에서 체계적인 일반화를 위해 명시적인 기호적 구조가 필수적인지 조사하기 위해.
• 문법이나 오토마타에 의존하지 않고 데이터에서만 유도된 인과적 편향을 학습하는 데이터 증강 프레임워크를 개발하기 위해.
• 최소한의 감독 하에 과거형 어미 변화나 복잡한 명령어와 같은 언어적 구성 요소의 소수 샘플 학습을 향상시키기 위해.

제안 방법

• 기타 훈련 예제의 조각을 재조합하여 훈련 쌍(x → y)을 재구성하는 프로토타입 기반 생성 모델을 훈련한다.
• 훈련된 생성 모델을 사용해 희귀 토큰이나 하위구조를 포함한 합성 훈련 예제를 샘플링하며, 이를 우선시한다.
• 희귀하거나 분포 외 패턴을 강조하는 고품질의 합성 예제를 필터링하고 우선순위를 정하기 위해 리샘플링을 적용한다.
• 복합 일반화 능력을 흡수하기 위해 증강된 데이터셋으로 표준 신경 시퀀스 모델을 피지컬 트레이닝한다.
• 재조합 과정에서 구조적 및 의미적 일관성을 유지하기 위해 재구성 손실을 사용해 생성 모델을 최적화한다.
• 데이터 증강 중에 희귀하고 새로운 하위구조를 탐색하도록 유도하기 위해 온도 기반 샘플링 전략을 사용한다.

실험 결과

연구 질문

• RQ1 기호적 구조 없이도 신경 시퀀스 모델이 소수 샘플 설정에서 체계적인 복합 일반화를 달성할 수 있는가?
• RQ2 기존 훈련 예제에서 데이터를 재조합하고 리샘플링하는 방식이 훈련 분포를 초월한 일반화에 충분한 인과적 편향을 제공하는가?
• RQ3 프로토타입 기반 생성을 통한 데이터 증강이 명시적인 문법이나 규칙 시스템에 의존하는 신경 기호 방법을 능가할 수 있는가?
• RQ4 R&R는 최소한의 감독 하에 새로운 언어적 구성 요소로의 일반화를 얼마나 효과적으로 가능하게 하는가?
• RQ5 리샘플링은 희귀 현상에 대한 합성 훈련 예제의 품질과 다양성에 어떤 영향을 미치는가?

주요 결과

• R&R는 SCAN 작업에서 소수 샘플 복합 일반화를 크게 향상시켜 최소 8개의 훈련 예제로도 복잡한 명령어를 정확하게 예측할 수 있도록 한다.
• Sigmorphon 2018 형태 분석 작업에서 R&R는 모델이 새로운 변형 패턴, 특히 희귀하고 보지 못한 어간 형태를 학습하고 일반화할 수 있도록 한다.
• 가장 뛰어난 성능을 보인 R&R 버전(recomb-1 + resampling)은 SCAN 및 Sigmorphon 2018에서 모두 최고 성능을 기록하며 신경 기호 기반 모델을 능가한다.
• 리샘플링은 합성 예제의 품질을 향상시켜 증강된 데이터에서 정확하고 새로운 변형의 비율을 높인다.
• 이 방법은 기호적 구조가 필요 없이도 인과적 편향이 데이터 재조합만으로도 유도될 수 있음을 보여주며, 이를 입증한다.
• 생성 모델 훈련, 샘플링, 조건부 모델 피지컬 트레이닝을 포함한 전체 파ip라인을 단일 GPU에서 한 번의 실험당 1시간 이내에 완료할 수 있다.