[논문 리뷰] Semi-Autoregressive Neural Machine Translation

Chunqi Wang, Ji Zhang외 1명|arXiv (Cornell University)|2018. 08. 26.

Natural Language Processing Techniques참고 문헌 22인용 수 12

한 줄 요약

이 논문은 각 시간 단계에서 병렬으로 다수의 단어를 생성하면서도 전반적인 순차적 생성 구조를 유지함으로써 번역 품질을 유지하는 새로운 순차 생성 모델인 준자율적 트랜스포머(SAT)를 제안한다. WMT’14 영어-독일어 번역에서 SAT는 표준 트랜스포머 대비 5.58배 빠른 속도를 기록했으며 BLEU 점수는 88% 유지했고, K=2일 경우 거의 손실이 없는 성능(1% BLEU 점수 감소)을 달성했다.

ABSTRACT

Existing approaches to neural machine translation are typically autoregressive models. While these models attain state-of-the-art translation quality, they are suffering from low parallelizability and thus slow at decoding long sequences. In this paper, we propose a novel model for fast sequence generation --- the semi-autoregressive Transformer (SAT). The SAT keeps the autoregressive property in global but relieves in local and thus is able to produce multiple successive words in parallel at each time step. Experiments conducted on English-German and Chinese-English translation tasks show that the SAT achieves a good balance between translation quality and decoding speed. On WMT'14 English-German translation, the SAT achieves 5.58$ imes$ speedup while maintains 88\% translation quality, significantly better than the previous non-autoregressive methods. When produces two words at each time step, the SAT is almost lossless (only 1\% degeneration in BLEU score).

연구 동기 및 목표

• 순차적 생성으로 인해 느린 디코딩 속도를 가지는 순차적 신경 번역 모델의 문제를 해결하기 위해.
• 국소적으로 순차적 제약 조건을 완화하면서도 전반적인 순차적 생성 구조를 유지함으로써 번역 품질을 훼손하지 않고 병렬 처리 가능성을 향상시키기 위해.
• 완전히 순차적 모델과 비순차적 모델 사이의 중간 지점에서 속도와 품질의 균형을 이루기 위해.
• 기계 번역을 초월한 응용 분야에 적용 가능한 효율적이고 고품질의 순차 생성을 가능하게 하는 방법을 개발하기 위해.
• 준자율적 환경에서 장거리 의존성 모델링을 향상시키는 데 기여하는 지식 정복 및 학습 목표를 조사하기 위해.

제안 방법

• SAT는 각 시간 단계에서 K개의 연속된 타겟 단어를 병렬로 생성하기 위해 그룹 수준의 연쇄 법칙을 사용한다. 여기서 K는 그룹 크기이다.
• 모델은 동일한 그룹 내의 미래 토큰을 참조할 수 있도록 허용하는 완화된 인과 마스크를 적용하여 순차적 의존성을 감소시킨다.
• 강력한 순차적 교사 모델로부터의 순서 수준 지식 정복을 통해 학습을 안정화시키고 성능을 향상시킨다.
• 장거리 의존성 모델링은 특히 먼 위치에서의 위치별 교차 엔트로피를 감소시키는 수정된 학습 목표를 통해 향상된다.
• 모델는 트랜스포머 인코더-디코더 아키텍처를 기반으로 하되, 그룹 기반 생성을 지원하기 위해 디코더의 자기어텐션 및 크로스어텐션 메커니즘을 수정한다.
• 모델은 그룹 내 모든 위치에 공통된 디코더 헤드를 사용하여 K개 토큰을 동시에 예측하면서도 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 완전히 순차적 또는 비순차적 모델에 비해 준자율적 생성이 디코딩 속도와 번역 품질 사이의 균형을 더 잘 달성할 수 있는가?
• RQ2 국소적으로 순차적 제약 조건을 완화함으로써 모델이 유창하고 정확한 순서를 생성하는 데 영향을 미치는가?
• RQ3 순서 수준 지식 정복이 준자율적 모델의 성능 향상에 얼마나 기여하는가?
• RQ4 그룹 크기 K가 순서 생성의 속도-정확도 균형에 어떤 영향을 미치는가?
• RQ5 특히 장거리 문장에서 매 단계당 다수의 단어를 생성할 경우에도 SAT는 높은 자연스러움과 낮은 반복률을 유지할 수 있는가?

주요 결과

• WMT’14 영어-독일어 번역에서 SAT는 표준 트랜스포머 대비 5.58배 빠른 속도를 기록했으며 BLEU 점수는 88% 유지했다.
• K=2일 경우 SAT는 순차적 트랜스포머와 비교해 1% 이내의 BLEU 점수 감소를 보이며 거의 손실이 없는 성능을 달성했다.
• 중국어-영어 번역에서 K=2인 SAT는 1.69배 빠른 속도를 기록했으며 기준 모델의 번역 품질의 97%를 유지했다.
• K=6이고 비트 크기가 1인 극한의 설정에서 SAT는 중국어-영어 번역에서 6.41배 빠른 속도를 기록했으며 기준 모델의 BLEU 점수의 83%를 유지했다.
• 순서 수준 지식 정복은 특히 큰 K 값에서 성능 향상에 크게 기여하여 학습의 불안정성을 감소시키고 출력의 자연스러움을 향상시켰다.
• 위치별 교차 엔트로피 분석 결과 주기 K를 가진 주기적 패턴이 나타나, 장거리 의존성 모델링이 여전히 도전 과제이며 향후 개선의 핵심 목표임을 시사한다.