[논문 리뷰] End-to-End Non-Autoregressive Neural Machine Translation with Connectionist Temporal Classification

Jindřich Libovický, Jindřich Helcl|arXiv (Cornell University)|2018. 11. 12.

Natural Language Processing Techniques참고 문헌 14인용 수 6

한 줄 요약

이 논문은 순차적 추론의 병목을 해결하기 위해 연결주의 시계열 분류(CTC)를 사용하는 엔드 투 엔드 비자기적 신경 기계 번역 모델을 제안한다. 이 모델은 반복적 개선 없이 병렬 디코딩을 가능하게 하며, 인코더 상태를 더 긴 시퀀스로 투영하고 CTC 손실을 적용함으로써 영어-루마니아어 및 영어-독일어 번역 작업에서 자동 회귀 기반 모델의 번역 품질의 80–90%를 유지하면서도 자동 회귀 기반 모델 대비 4배 빠른 추론 속도를 달성한다.

ABSTRACT

Autoregressive decoding is the only part of sequence-to-sequence models that prevents them from massive parallelization at inference time. Non-autoregressive models enable the decoder to generate all output symbols independently in parallel. We present a novel non-autoregressive architecture based on connectionist temporal classification and evaluate it on the task of neural machine translation. Unlike other non-autoregressive methods which operate in several steps, our model can be trained end-to-end. We conduct experiments on the WMT English-Romanian and English-German datasets. Our models achieve a significant speedup over the autoregressive models, keeping the translation quality comparable to other non-autoregressive models.

연구 동기 및 목표

• 자기 회귀적 신경 기계 번역에서 발생하는 순차적 병목 문제를 해결하기 위해 추론 시 완전한 병렬 처리를 가능하게 하기 위해.
• 별도의 단계나 반복적 개선 없이도 엔드 투 엔드로 훈련 가능한 비자기적 NMT 모델을 개발하기 위해.
• 자기 회귀 모델 대비 상당한 추론 속도 향상과 함께 경쟁 가능한 번역 품질을 유지하기 위해.
• 정렬 지도 없이도 순서에서 순서로의 번역을 위한 통합 훈련 목표로 연결주의 시계열 분류(CTC)의 사용을 탐색하기 위해.

제안 방법

• 모델은 각 인코더 상태를 k개의 벡터로 확장하는 학습 가능한 투영을 사용하는 트랜스포머 인코더를 사용하며, 이로 인해 길이가 k×Tx인 시퀀스 s가 생성된다.
• CTC 스타일의 디코더는 자동 회귀 제약 없이 병렬로 출력 토큰이나 null 기호를 생성한다.
• CTC 손실은 출력 시퀀스와 참조 사이의 모든 가능한 정렬에 대한 확률을 계산하며, 전진-후행 알고리즘을 통해 모든 유효한 경로의 합을 구한다.
• 모델는 CTC 목표를 사용해 엔드 투 엔드로 훈련되며, 별도의 길이 추정 또는 반복적 개선 단계가 필요 없어진다.
• 자기 주의에서 마스크를 사용하지 않아 추론 시 완전한 병렬 처리가 가능해진다.

실험 결과

연구 질문

• RQ1 CTC를 사용해 별도의 길이 추정 또는 반복적 개선 없이도 비자기적 NMT 모델을 엔드 투 엔드로 훈련할 수 있는가?
• RQ2 엔드 투 엔드 CTC 기반 비자기적 모델의 번역 품질은 자동 회귀 및 다단계 비자기적 기반 모델과 비교해 어떻게 되는가?
• RQ3 분할 인자 k가 모델 성능과 추론 효율성에 어떤 영향을 미치는가?
• RQ4 CTC 기반 모델에서 null 기호의 수와 번역 품질 사이에 상관관계가 존재하는가?

주요 결과

• 자기 회귀 기반 모델 대비 추론 시간이 4배 빨라졌으며, 영어-독일어 번역에서 GPU 평균 추론 시간은 350ms였다.
• WMT 영어-독일어 번역 작업에서 모델은 en-de에 대해 25.12 BLEU, de-en에 대해 28.89 BLEU를 기록했으며, 이는 자동 회귀 기반 모델의 성능의 80–90%에 해당한다.
• 모델 성능은 null 기호의 수와 약간의 상관관계가 있다(r = 0.15) — 이는 분할 인자 k를 증가시키면 성능 향상이 가능하지만 메모리 사용량이 증가할 수 있음을 시사한다.
• 비자기적 모델에서 더 긴 원천 문장일수록 문장 수준 BLEU 점수가 약간 더 크게 저하된다(r = -0.42) — 자동 회귀 모델의 경우 r = -0.39이므로, 약간의 길이 일반화 갭이 존재한다.
• 수동 평가 결과, 비자기적 모델은 정확한 번역 비율이 낮게(23% 대 65%) 나타나며, 동사 누락이나 손상된 명사어 등의 오류가 더 많이 발생하지만, 여전히 일부 이전의 비자기적 방법보다 BLEU 점수에서 뛰어난 성능을 보였다.