[논문 리뷰] Insertion Transformer: Flexible Sequence Generation via Insertion Operations

Mitchell Stern, William Chan외 2명|arXiv (Cornell University)|2019. 02. 08.

Natural Language Processing Techniques인용 수 162

한 줄 요약

논문은 Insertion Transformer를 소개합니다. 이는 임의 위치에 토큰을 삽입하는 유연한 시퀀스 생성기로, 다양한 학습 순서를 통해 직렬 및 병렬 디코딩이 가능하고 로그 규모의 디코딩 반복으로 경쟁력 있는 번역 품질을 달성합니다.

ABSTRACT

We present the Insertion Transformer, an iterative, partially autoregressive model for sequence generation based on insertion operations. Unlike typical autoregressive models which rely on a fixed, often left-to-right ordering of the output, our approach accommodates arbitrary orderings by allowing for tokens to be inserted anywhere in the sequence during decoding. This flexibility confers a number of advantages: for instance, not only can our model be trained to follow specific orderings such as left-to-right generation or a binary tree traversal, but it can also be trained to maximize entropy over all valid insertions for robustness. In addition, our model seamlessly accommodates both fully autoregressive generation (one insertion at a time) and partially autoregressive generation (simultaneous insertions at multiple locations). We validate our approach by analyzing its performance on the WMT 2014 English-German machine translation task under various settings for training and decoding. We find that the Insertion Transformer outperforms many prior non-autoregressive approaches to translation at comparable or better levels of parallelism, and successfully recovers the performance of the original Transformer while requiring only logarithmically many iterations during decoding.

연구 동기 및 목표

• 시퀀스 모델링에서 고정된 좌→우 단 autoregressive 생성의 한계를 동기 부여하고 해결한다.
• 출력 캔버스의 임의 위치에 토큰을 삽입할 수 있도록 하는 삽입 기반의 반복적 디코딩 프레임워크를 제안한다.
• 완전한 autoregressive(한 번에 하나의 삽입)와 부분 autoregressive(동시 삽입) 디코딩 모두를 가능하게 한다.
• 강인성과 효율성을 향상시키기 위해 학습 순서들(좌→우, 균형 이진 트리, 균일/엔트로피 최대화 목표)을 탐구한다.
• 로그적 디코딩 반복과 병렬 디코딩 능력을 갖춘 WMT 2014 영어-독일어에서 경쟁력 있는 BLEU 결과를 시연한다.

제안 방법

• 현재 캔버스의 임의 위치에 토큰을 추가하는 삽입 연산으로 표준 autoregressive 디코딩을 대체한다.
• 슬롯 표현을 제공하고 전체 캔버스에 대해 전체 디코더 자기 주의를 통해 주의하는 수정된 Transformer 디코더를 사용한다.
• 내용-위치 분포를 (content, location)에서 결합적으로 또는 분해된 형태(p(c|l), p(l))로 모델링한다.
• 큰 출력 공간을 다루기 위해 맥락화된 어휘 편향과 선택적 소프트맥스 혼합을 도입한다.
• 좌→우, 중심에 초점을 둔 가중치를 가진 균형 이진 트리, 또는 균일/최대 엔트로피 손실과 같은 순서별 손실로 학습한다; 종료 처리(슬롯 또는 시퀀스 마무리) 및 길이를 제어하기 위한 EOS 페널티를 포함한다.
• 슬롯 마무리로 학습된 경우 탐색은 그리디 디코딩과 슬롯 간 병렬 디코딩을 지원하며, 유리한 구성에서 로그(n) 수준의 반복 횟수를 달성한다.

실험 결과

연구 질문

• RQ1 삽입 기반 생성이 자동회귀 및 비자동회귀 번역 품질과 대등하거나 이를 초과하면서도 효율적이고 병렬 디코딩을 가능하게 할 수 있는가?
• RQ2 다양한 학습 순서(좌→우, 균형 이진 트리, 균일 엔트로피)와 아키텍처 변형이 성능 및 디코딩 효율성에 어떤 영향을 미치는가?
• RQ3 모델이 사전에 고정된 대상 길이를 예측하지 않고 출력 길이를 동적으로 확장할 수 있는가?
• RQ4 디코딩 및 훈련을 위한 슬롯 마무리와 시퀀스 마무리 종료 전략 간의 트레이드오프는 무엇인가?
• RQ5 병렬 삽입이 BLEU 성능을 해치지 않으면서 어느 정도까지 서브리니어(로그2 n) 디코딩 반복을 달성할 수 있는가?

주요 결과

• Insertion Transformer는 로그로 비례하는 디코딩 반복 수를 사용하면서도 WMT 2014 영어-독일어에서 Transformer 수준의 성능에 도달할 수 있다.
• 슬롯 마무리와 병렬 디코딩은 그리디 디코딩과 비교해 동등하거나 약간 더 나은 BLEU를 달성하여 고병렬성 생성이 효과적임을 보여준다.
• 증류를 포함한 이진 트리 손실이 강한 결과를 내며, 그리디 디코딩으로 개발 세트에서 BLEU 25.80을 달성하고 설정에 따라 25.80–27.29 범위에 이른다.
• EOS 페널티는 조기 종료를 방지하여 성능을 크게 개선하며, 조정된 페널티는 일부 설정에서 BLEU를 최대 약 4포인트까지 올릴 수 있다.
• 병렬 디코딩 방식은 이론적 하한 ⌊log2 n⌋+1에 근접하며 실제로도 일반적인 문장 길이에 대해 대개 10회 내외의 반복으로 수행된다.
• 다른 아키텍처 변형들(공동적 대 조건적 내용-위치 모델링, 맥락화된 어휘 편향, 소프트맥스 혼합)의 효과는 기준선 대비 미미한 증가를 제공하며, 적절한 EOS 튜닝 이후 이득은 감소한다.