[논문 리뷰] Structured Reordering for Modeling Latent Alignments in Sequence Transduction

Bailin Wang, Mirella Lapata외 1명|arXiv (Cornell University)|2021. 06. 06.

Natural Language Processing Techniques참고 문헌 60인용 수 14

한 줄 요약

이 논문은 분리 가능한 순열을 사용하여 구조적 잠재 변수로 세그먼트 수준의 정렬을 모델링함으로써 체계적 일반화를 향상시키는 신경 시퀀스-투-시퀀스 모델을 제안한다. 정확한 동적 프로그래밍 추론을 통한 '재정렬 우선, 정렬 후행' 프레임워크를 도입함으로써, 엔드 투 엔드 미분 가능 훈련이 가능해졌으며, 의미 분석 및 기계 번역 작업에서 분포 이탈 상황에서도 최고 성능을 기록하였다.

ABSTRACT

Despite success in many domains, neural models struggle in settings where train and test examples are drawn from different distributions. In particular, in contrast to humans, conventional sequence-to-sequence (seq2seq) models fail to generalize systematically, i.e., interpret sentences representing novel combinations of concepts (e.g., text segments) seen in training. Traditional grammar formalisms excel in such settings by implicitly encoding alignments between input and output segments, but are hard to scale and maintain. Instead of engineering a grammar, we directly model segment-to-segment alignments as discrete structured latent variables within a neural seq2seq model. To efficiently explore the large space of alignments, we introduce a reorder-first align-later framework whose central component is a neural reordering module producing {\it separable} permutations. We present an efficient dynamic programming algorithm performing exact marginal inference of separable permutations, and, thus, enabling end-to-end differentiable training of our model. The resulting seq2seq model exhibits better systematic generalization than standard models on synthetic problems and NLP tasks (i.e., semantic parsing and machine translation).

연구 동기 및 목표

• 기존의 seq2seq 모델이 알려지지 않은 개념 조합에 대한 체계적 일반화에서 실패하는 문제를 해결하기 위해.
• 신경 모델에서 단조적 정렬의 한계를 극복하기 위해 비단조적이고 구조적인 세그먼트 수준의 정렬을 가능하게 하기 위해.
• 복잡한 계층적 정렬을 잠재적 재정렬을 통해 모델링하면서도 엔드 투 엔드 미분 가능성을 유지하기 위해.
• 이산 잠재 변수를 통해 세그먼트 간 정렬을 명시적으로 만들음으로써 해석 가능성 향상을 위해.
• 정렬 모델링에서 강한 인덕티브 바이어스를 제공함으로써 저자원 및 약한 지도 학습 설정에서 더 나은 성능을 내기 위해.

제안 방법

• 입력 시퀀스가 분리 가능한 순열을 생성하는 신경 모듈을 통해 재정렬되는 '재정렬 우선, 정렬 후행' 프레임워크를 도입한다.
• 언어적 구조를 반영하고 효율적 추론을 가능하게 하기 위해 계층적 순열 트리를 사용해 분리 가능한 순열을 모델링한다.
• 분리 가능한 순열에 대한 정확한 주변 및 MAP 추론을 위한 효율적 동적 프로그래밍 알고리즘을 개발한다.
• 재정렬 모듈에 연속적 근사 기법을 적용하여 엔드 투 엔드 backpropagation와 미분 가능한 훈련을 가능하게 한다.
• 기존의 단조적 정렬 모듈과 재정렬 모듈을 통합하여 비단조적이고 세그먼트 수준의 정렬을 지원한다.
• 잠재 정렬 지도 학습을 통해 의미 분석 및 기계 번역과 같은 시퀀스 변환 작업에 모델을 적용한다.

실험 결과

연구 질문

• RQ1 구조적이고 비단조적인 세그먼트 수준의 정렬을 모델링하면 신경 시퀀스-투-시퀀스 모델의 체계적 일반화가 향상되는가?
• RQ2 분리 가능한 순열은 신경 아키텍처에서 효율적으로 추론하고 엔드 투 엔드로 훈련할 수 있는가?
• RQ3 잠재 순열을 사용하는 재정렬 우선 접근 방식이 OOD 일반화 작업에서 표준 seq2seq 및 단조적 정렬 모델보다 우수한가?
• RQ4 잠재 정렬은 시퀀스 생성에서 모델의 해석 가능성에 어느 정도 기여하는가?
• RQ5 이 방법은 분포 이탈 상황에서 실제 NLP 작업인 기계 번역 및 의미 분석에 일반화 가능한가?

주요 결과

• 제안된 ReMoto 모델, 특히 Hard-ReMoto 변종은 EN-JA 및 ZH-EN 번역 작업에서 최고 성능을 기록한 BLEU 점수를 달성하였으며, 표준 seq2seq 및 SSNT, 국소 재정렬과 같은 베이스라인을 모두 능가하였다.
• ZH-EN 번역의 LEN 분할에서 ReMoto는 22.6 BLEU를 기록하여 seq2seq(21.4)와 SSNT(20.5)를 크게 앞서며 분포 이탈 상황에서의 개선된 OOD 일반화 능력을 입증하였다.
• 의미 분석 작업에서는 훈련 세그먼트의 새로운 조합으로 구성된 테스트 예시에 대해 성공적으로 일반화되었으며, 명시적인 정렬 근거를 포함한 정성적 예시를 통해 이를 확인하였다.
• 성능 우월성이 LEN 분할(더 긴 문장)에서 더 두드러지게 나타나, 분포 이탈 상황에서의 더 나은 일반화 능력을 시사한다.
• 분리 가능한 순열을 사용함으로써 대규모 검색 공간에도 불구하고 동적 프로그래밍을 통한 정확한 추론이 효율적으로 가능해져 엔드 투 엔드 훈련이 실현 가능해졌다.
• 잠재 정렬은 재정렬된 입력을 통해 출력 세그먼트를 입력 세그먼트와 명시적으로 연결함으로써 예측에 대한 근거를 제공함으로써 모델의 해석 가능성을 향상시켰다.