[논문 리뷰] Can neural machine translation do simultaneous translation?

Kyunghyun Cho, Masha Esipova|arXiv (Cornell University)|2016. 06. 07.

Natural Language Processing Techniques참고 문헌 18인용 수 134

한 줄 요약

본 논문은 동시 탐욕 디코딩(simultaneous greedy decoding)을 도입하여 주의 기반 신경 기계 번역(NMT)을 동시 번역으로 적용하기 위한 방법으로, 분할과 번역을 함께 결정하고 품질-지연 간 트레이드오프를 En-Cs, En-De, En-Ru 언어쌍에서 제어할 수 있게 한다.

ABSTRACT

We investigate the potential of attention-based neural machine translation in simultaneous translation. We introduce a novel decoding algorithm, called simultaneous greedy decoding, that allows an existing neural machine translation model to begin translating before a full source sentence is received. This approach is unique from previous works on simultaneous translation in that segmentation and translation are done jointly to maximize the translation quality and that translating each segment is strongly conditioned on all the previous segments. This paper presents a first step toward building a full simultaneous translation system based on neural machine translation.

연구 동기 및 목표

• 품질과 지연의 균형을 맞추기 위해 신경망 기계 번역(NMT) 내에서 동시 번역 연구의 필요성을 제기한다.
• 전 전체 원문 문장이 아직 수신되는 동안 번역을 가능하게 하는 디코딩 알고리즘을 제안한다.
• 학습된 NMT 모델을 사용해 과거 구간에 조건화된 분할 및 번역을 함께 수행하는 것을 시연한다.
• 다양한 언어쌍에서 대기 기준이 품질-지연 트레이드오프에 미치는 영향을 평가한다.

제안 방법

• delta와 s0로 제어되는 더 많은 원자료를 기다리는 옵션과 함께, 원자료를 배치(batch)로 읽고 신뢰할 때 탐욕적으로 타깃 토큰을 출력하는 동시 번역 탐욕 디코딩을 도입한다.
• 필요 시점 대기 기준이 유의하다고 판단할 때에만 새로운 청크로 업데이트하는 동적 원문 표현의 집합으로 인코더 컨텍스트를 유지한다.
• 추가 원문 맥락을 더 기다릴지 즉시 번역할지를 결정하기 위해 두 가지 대기 기준(Wait-If-Worse 및 Wait-If-Diff)을 사용한다.
• 전체 문장에 대해 표준 주의 기반 NMT 모델(주의가 있는 인코더-디코더)을 학습시키고; 동시 번역을 위해 모델을 재훈련하지 않고 디코딩 알고리즘을 적용한다.
• tau(X,Y)라는 정규화된 지연 지표로 지연을 정량화하고 En-Cs, En-De, En-Ru의 언어쌍에서 BLEU와 tau 사이의 트레이드오프를 분석한다.
• 동시 디코딩 성능을 전통적인 연속적 탐욕 디코딩 및 빔 탐색 벤치마크와 비교한다.

실험 결과

연구 질문

• RQ1 연속 번역을 위해 학습된 주의 기반 NMT 모델을 새로운 디코딩 전략으로 사용해 동시 번역에 활용할 수 있는가?
• RQ2 다양한 대기 기준(Wait-If-Worse vs Wait-If-Diff)이 동시 번역에서 품질-지연 트레이드오프에 어떻게 영향을 미치는가?
• RQ3 다양한 언어 방향에서 디코딩 매개변수 delta와 s0가 번역 품질과 지연에 미치는 영향은 무엇인가?
• RQ4 다양한 언어쌍에서 동시 탐욕 디코딩으로 어떤 질적 행동(예: 구절 반복, 조기 결정)이 나타나는가?

주요 결과

• 동시 탐욕 디코딩은 번역 품질과 지연 사이의 제어 가능한 트레이드오프를 가지는 동시 번역을 가능하게 한다.
• Wait-If-Worse는 일반적으로 더 높은 품질이지만 지연이 더 크고, Wait-If-Diff는 더 넓은 지연-품질 트레이드오프를 제공하며 더 많은 반복을 유발할 수 있다.
• 품질과 지연 패턴은 언어쌍(En-Cs, En-De, En-Ru) 및 방향에 따라 달라지며 형태학적 다양성과 구문에 의해 좌우된다.
• 측정 가능한 품질-지연 관계가 있으며, 정보 증가(delta 또는 s0의 증가)가 모델이 대기하는 시점과 번역을 시작하는 시점을 바꿔 BLEU와 tau에 영향을 준다.
• 일부 경우에는 러시아어-영어 번역에서 특정 기준 아래 조기 결정과 구절 반복이 나타나 현재 대기 전략의 한계를 시사한다.
• BLEU 점수(참고용)는 저자들의 모델을 사용할 때 기준선 대비 경쟁력 있는 성능을 시사한다: En->Cs 15.2 (Ours) / 13.84 (Star), En->De 19.5 / 21.75, En->Ru 17.77 / 19.54; 역방향은 Cs->En 20.47 / 20.32, De->En 23.96 / 24, Ru->En 22.27 / 22.44.
• 이 접근법은 엔드-투-엔드 NMT 시스템을 정렬이나 타이밍 재훈련 없이도 동시 번역에 재목적화할 수 있음을 보여준다.