[논문 리뷰] Improving Fluency of Non-Autoregressive Machine Translation

Zdeněk Kasner, Jindřich Libovický외 1명|arXiv (Cornell University)|2020. 04. 07.

Natural Language Processing Techniques참고 문헌 20인용 수 6

한 줄 요약

이 논문은 비자기적 신경 기계 번역(nAR-NMT)을 위한 비드림 서치 디코딩 방법을 제안하며, n-그램 언어 모델, 빈칸 기호 비율, 뒤이어 오는 빈칸 수와 같은 추가 특징들을 점수 모델에 통합하여 유창성을 향상시킨다. CTC 기반 nAR 디코딩과 구조적 퍼셉트론을 활용해 특징 가중치를 학습함으로써, 자동적 모델과 경쟁 가능한 BLEU 점수를 달성하면서도 표준 자동적 모델 대비 1.5배 빠른 속도를 확보한다. 특히 비드림 크기가 20일 때 유의미한 성능 향상을 보였다.

ABSTRACT

Non-autoregressive (nAR) models for machine translation (MT) manifest superior decoding speed when compared to autoregressive (AR) models, at the expense of impaired fluency of their outputs. We improve the fluency of a nAR model with connectionist temporal classification (CTC) by employing additional features in the scoring model used during beam search decoding. Since the beam search decoding in our model only requires to run the network in a single forward pass, the decoding speed is still notably higher than in standard AR models. We train models for three language pairs: German, Czech, and Romanian from and into English. The results show that our proposed models can be more efficient in terms of decoding speed and still achieve a competitive BLEU score relative to AR models.

연구 동기 및 목표

• 디코딩 속도를 위해 품질을 희생시키는 비자기적 기계 번역(nAR-NMT) 모델에서 발생하는 유창성 저하 문제를 해결한다.
• nAR 모델의 병렬 디코딩 속도 이점을 유지하면서도 번역의 유창성을 향상시킨다.
• 외부 특징들(예: 언어 모델, CTC 전용 통계)을 통합한 점수 모델을 도입하여 비드림 서치에서 가설 선택을 안내한다.
• 조정 가능한 비드림 크기를 통해 디코딩 속도와 번역 품질 사이의 트레이드오프를 균형 잡는다.
• 자기적 모델에 비해 최소한의 지연 페널티로 경쟁 가능한 BLEU 점수를 달성할 수 있음을 입증한다.

제안 방법

• 상태 분할을 통해 병렬로 타겟 토큰을 생성하는 CTC 기반 nAR 모델을 사용하여 계산의 완전한 병렬화를 가능하게 한다.
• CTC 확률 P(y|x)와 n-그램 언어 모델 점수, 빈칸 기호 비율, 뒤이어 오는 빈칸 수 등 특징 Φ(y)의 가중치 합을 조합한 점수 함수를 사용하는 비드림 서치 디코딩을 적용한다.
• 기준 번역이 비드림에 포함되지 않을 경우, 특징 가중치 w를 구조적 퍼셉트론을 통해 업데이트한다.
• 모든 토큰 확률을 동시에 계산함으로써 단일 전방 전파를 통해 추론를 수행함으로써 nAR 모델의 속도 이점을 유지한다.
• 퍼셉트론 학습 중 개발 세트를 활용한 조기 정지 기법을 통해 비드림 서치를 최적화한다.
• 독일어, 체코어, 루마니아어를 영어로 및 영어에서 각 언어로 번역하는 세 가지 언어 쌍에 대해 WMT 테스트 세트에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 비드림 서치 점수 모델에 추가 특징을 통합하면 비자기적 기계 번역 출력의 유창성이 향상되는가?
• RQ2 CTC 기반 디코딩을 사용하는 nAR 모델이 고속 디코딩을 유지하면서도 자동적 모델과 경쟁 가능한 BLEU 점수를 달성할 수 있는가?
• RQ3 비드림 크기가 제안된 nAR 모델에서 번역 품질과 디코딩 속도 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ4 어떤 특정 특징(예: 언어 모델, 빈칸 기호 통계)이 유창성 향상에 가장 크게 기여하는가?
• RQ5 단일 전방 전파 디코딩 전략이 구조적 점수를 통해 유창성을 향상시키면서도 고속을 유지할 수 있는가?

주요 결과

• 비드림 크기가 20일 때, 제안된 모델은 영어-독일어 번역에서 BLEU 점수 26.03을 기록했으며, 이는 그리디 자동적 디코딩의 품질과 동일하지만 자동적 모델 대비 1.5배 빠른 속도를 확보했다.
• 비드림 크기를 1에서 5로 늘일 경우, 모든 언어 쌍에서 BLEU 점수가 최소 3점 향상되어 강력한 품질-속도 트레이드오프를 입증했다.
• CTC 점수, 언어 모델, 빈칸 비율, 뒤이어 오는 빈칸 수 특징의 조합이 가장 높은 BLEU 점수(26.03)를 기록했으며, 이는 다중 특징 점수 모델이 단일 특징 기반 베이스라인보다 더 효과적임을 보여준다.
• 수동 평가를 통해 반복 단어, 잘못된 어구, 너무 짧은 번역과 같은 일반적인 nAR 문제를 줄였으며, 이는 모델이 개선된 유창성을 확보했음을 확인했다.
• 디코딩 시간은 문장 길이에 비례로 증가하지만, 특히 긴 문장에서 자동적 모델보다 현저히 빠르게 유지된다.
• 개발 세트를 활용한 조기 정지 기법을 통한 구조적 퍼셉트론 학습은 특징 가중치를 효과적으로 튜닝하여 일반화 능력과 유창성 향상을 향상시켰다.