[논문 리뷰] Insertion Transformer: Flexible Sequence Generation via Insertion Operations

Mitchell Stern, William Chan외 2명|arXiv (Cornell University)|2019. 02. 08.

Natural Language Processing Techniques인용 수 115

한 줄 요약

Insertion Transformer는 임의 위치에 토큰을 삽입하여 시퀀스를 생성하고, 완전 자동회귀 및 병렬 삽입 디코딩을 가능하게 하며, WMT14 영어-독일어에서 BLEU가 경쟁적이고 로그에 가까운 디코딩 반복을 달성합니다.

ABSTRACT

We present the Insertion Transformer, an iterative, partially autoregressive model for sequence generation based on insertion operations. Unlike typical autoregressive models which rely on a fixed, often left-to-right ordering of the output, our approach accommodates arbitrary orderings by allowing for tokens to be inserted anywhere in the sequence during decoding. This flexibility confers a number of advantages: for instance, not only can our model be trained to follow specific orderings such as left-to-right generation or a binary tree traversal, but it can also be trained to maximize entropy over all valid insertions for robustness. In addition, our model seamlessly accommodates both fully autoregressive generation (one insertion at a time) and partially autoregressive generation (simultaneous insertions at multiple locations). We validate our approach by analyzing its performance on the WMT 2014 English-German machine translation task under various settings for training and decoding. We find that the Insertion Transformer outperforms many prior non-autoregressive approaches to translation at comparable or better levels of parallelism, and successfully recovers the performance of the original Transformer while requiring only logarithmically many iterations during decoding.

연구 동기 및 목표

• 왼쪽에서 오른쪽으로의 자동회귀를 넘어서는 유연한 시퀀스 생성을 동기 부여한다.
• 현재 캔버스에서 임의의 위치에 토큰을 삽입할 수 있는 삽입 기반 디코딩 프레임워크를 도입한다.
• 모델이 종단 간 학습으로 순차적 삽입과 다중 위치의 병렬 삽입을 모두 지원함을 보여준다.
• WMT 2014 영어-독일어에서 자동회귀 및 비자동회귀 baselines와의 비교를 평가한다.

제안 방법

• 현재 캔버스 ŷ에서 위치 l에 삽입 c를 모델링하는 p(c, l | x, ŷ) (식(1)).
• 추가 마커와 인접 디코더 출력을 연결하는 방식으로 모든 삽입 위치에 대한 슬롯 표현을 생성하도록 Transformer 디코더를 수정한다.
• 콘텐츠-위치 분포(p(c, l)의 결합 또는 p(c|l)p(l)의 분해)와 맥락화된 어휘 편향을 탐구한다.
• 왼쪽→오른쪽, 균형 잡힌 이진 트리, 균일한(최대 엔트로피) 손실 및 서로 다른 종료 방식(slot vs 시퀀스 최종화)을 사용한 학습 순서를 조사한다.
• 자 autoregressive(한 번에 하나의 삽입) 및 병렬 디코딩(한 단계에 여러 삽입) 절차를 설명한다.
• 삽입 후 디코더 상태의 재계산으로 인한 비단방향 상태 업데이트 문제 및 샘플링 단계에서의 분산 등 학습 시의 도전과제를 다룬다.

실험 결과

연구 질문

• RQ1 삽입 기반 생성을 통해 품질에서 Transformer 계열과의 차이 없이 병렬 디코딩을 가능하게 할 수 있는가?
• RQ2 다른 생성 순서(왼쪽→오른쪽, 균형 이진 트리, 균일)가 학습 신호와 디코딩 효율에 어떤 영향을 미치는가?
• RQ3 BLEU 및 수렴을 최적화하는 종료 및 손실 전략(슬롯 최종화 대 시퀀스 최종화)은 무엇인가?
• RQ4 공동적 대 조건적 콘텐츠-위치, 맥락화된 어휘 편향, 혼합 소프트맥스(MoS) 등 아키텍처 변형이 성능에 미치는 영향은 무엇인가?

주요 결과

• 삽입 기반 생성을 통해 병렬 디코딩 하에서 트랜스포머 수준의 품질을 훨씬 적은 디코딩 반복으로 달성할 수 있다.
• WMT 2014 En–De에서 이진 트리 손실을 사용하는 기본 탐욕 디코딩은 개발 BLEU 약 21.02를 달성하고, EOS 페널티 및 증류로 개선된다.
• 트랜스포머 교사로부터의 지식 증류와 함께 BLEU가 대략 3~4포인트 증가하는 것을 관찰했다.
• EOS 조정 및 증류를 포함한 이진 트리 손실의 최적 모델은 개발 BLEU 25.80에 도달하며, 병렬 이진 트리의 경우 BLEU가 더 높아질 수 있다(예: 개발에서 27.41).
• 여러 구성에서 병렬 디코딩이 탐욕적 디코딩보다 유사하거나 더 높은 BLEU를 제공하여 일반적인 시퀀스 길이에 대해 로그 반복 생성이 실용적임을 시사한다(대략 log2 n).
• newstest2014 테스트 세트에서 삽입-트랜스포머의 병렬 디코딩은 BLEU 약 27.4에 도달하여 자동회귀 및 비자동회귀 baselines와 경쟁하면서 반복 수는 훨씬 적다.