[논문 리뷰] Faster Re-translation Using Non-Autoregressive Model For Simultaneous Neural Machine Translation

HyoJung Han, Sathish Reddy Indurthi외 6명|arXiv (Cornell University)|2020. 12. 29.

Natural Language Processing Techniques참고 문헌 24인용 수 4

한 줄 요약

이 논문은 동시성 신경 기계 번역에서 비자기적 재번역(Re-translation) 모델인 FReTNA를 제안한다. 이 모델은 병렬적으로 목표 시퀀스를 생성함으로써 자기적 재번역(ReTA) 대비 추론 시간을 10배 감소시키면서도 높은 번역 품질을 유지한다. 방법은 Levenshtein Transformer를 사용하여 효율적인 삽입 및 삭제를 가능하게 하며, 동적 번역에서 사용자가 느끼는 번역 빛나는 현상(flicker)을 더 잘 포착하기 위해 새로운 안정성 지표인 NCNE를 도입한다.

ABSTRACT

Recently, simultaneous translation has gathered a lot of attention since it enables compelling applications such as subtitle translation for a live event or real-time video-call translation. Some of these translation applications allow editing of partial translation giving rise to re-translation approaches. The current re-translation approaches are based on autoregressive sequence generation models (ReTA), which generate tar-get tokens in the (partial) translation sequentially. The multiple re-translations with sequential generation inReTAmodelslead to an increased inference time gap between the incoming source input and the corresponding target output as the source input grows. Besides, due to the large number of inference operations involved, the ReTA models are not favorable for resource-constrained devices. In this work, we propose a faster re-translation system based on a non-autoregressive sequence generation model (FReTNA) to overcome the aforementioned limitations. We evaluate the proposed model on multiple translation tasks and our model reduces the inference times by several orders and achieves a competitive BLEUscore compared to the ReTA and streaming (Wait-k) models.The proposed model reduces the average computation time by a factor of 20 when compared to the ReTA model by incurring a small drop in the translation quality. It also outperforms the streaming-based Wait-k model both in terms of computation time (1.5 times lower) and translation quality.

연구 동기 및 목표

• 동시성 신경 기계 번역에서 자기적 재번역(ReTA) 모델의 높은 추론 시간 문제를 해결하기 위해, 입력 길이가 길어질수록 증가하는 문제를 다룬다.
• 순차적 자기적 복호화를 병렬 비자기적 생성으로 대체하여 재번역 시스템의 월클록 지연을 줄인다.
• 삽입, 삭제, 대체로 인한 텍스트 빛나는 현상을 더 민감하게 포착하는 안정성 지표를 도입하여 사용자 경험을 향상시킨다.
• 비자기적 재번역이 ReTA 및 스트리밍 Wait-k 모델보다 속도와 번역 품질 측면에서 뛰어나다는 것을 입증한다.

제안 방법

• Levenshtein Transformer 기반의 비자기적 재번역 모델인 FReTNA를 제안하며, 이는 추론 중에 병렬적으로 다수의 토큰 삽입 및 삭제를 허용한다.
• Levenshtein Transformer의 학습 목표를 수정하여 보정 기반 생성을 지원함으로써, 전체 자동 재생성 없이도 효율적인 재번역을 가능하게 한다.
• 추론 중 위치 편향을 도입하여 토큰 예측을 안내하고, 특히 저지연 환경에서의 빛나는 현상을 줄인다.
• 연속적인 번역 간 삽입, 삭제, 대체 수를 세어 텍스트 불안정성을 정량화하는 새로운 안정성 지표인 보정된 클릭-엔에딧(NCNE)을 도입한다.
• 모델이 새로운 소스 입력이 들어올 때마다 전체 부분 번역을 다시 생성하지만, 순차적 자기적 생성을 피하기 위해 병렬로 수행하는 재번역 전략을 사용한다.
• 부분 번역에서의 정렬과 성능 향상을 위해 프리픽스 보완 손실을 사용하여 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 비자기적 생성이 재번역 기반 동시성 신경 기계 번역에서 추론 시간을 크게 줄일 수 있는가?
• RQ2 제안된 FReTNA 모델은 ReTA 및 Wait-k 모델과 비교해 번역 품질과 계산 효율성 측면에서 어떻게 다른가?
• RQ3 새로운 NCNE 지표가 기존의 NE 지표보다 사용자가 느끼는 텍스트 빛나는 현상을 더 잘 포착하는가?
• RQ4 위치 편향이 저지연 재번역 환경에서 안정성 향상과 빛나는 현상 감소에 얼마나 기여하는가?

주요 결과

• 제안된 FReTNA 모델은 ReTA 모델 대비 평균 계산 시간을 10배 감소시켜 높은 속도 향상을 달성하면서도 번역 품질 저하가 미미하다.
• FReTNA는 스트리밍 Wait-k 모델보다 계산 시간을 1.5배 줄이며, 번역 품질 또한 더 뛰어나다.
• 위치 편향이 적용된 FReTNA_pos 버전은 FReTNA_non_pos보다 더 낮은 NCNE 점수를 기록하여, 특히 저지연 환경에서 빛나는 현상이 감소함을 보여준다.
• NCNE 지표는 NE 지표보다 더 많은 빛나는 현상을 감지한다. 이는 첫 번째 차이점 외에도 삽입, 삭제, 대체를 모두 고려하기 때문이다.
• 저지연 설정에서 FReTNA_non_pos는 과도한 예측과 그로 인한 토큰 삭제로 인해 더 높은 빛나는 현상을 보이며, 이는 FReTNA_pos에서의 위치 편향으로 인해 완화된다.
• 모델는 추론 지연을 극적으로 줄이며 높은 번역 품질을 유지함으로써 자원 제약이 있는 장치에서 실시간 응용에 적합하다.