[논문 리뷰] Monotonic Simultaneous Translation with Chunk-wise Reordering and Refinement

HyoJung Han, Seokchan Ahn외 4명|arXiv (Cornell University)|2021. 10. 18.

Natural Language Processing Techniques참고 문헌 44인용 수 4

한 줄 요약

이 논문은 표준 전체 문장 번역 코퍼스를 동시 번역을 위한 단조적이고 청크 단위로 재정렬하고 개선된 병렬 데이터로 재구성하는 방법을 제안한다. 단어 정렬과 비자기적 번역을 활용하여 목표 측 문장을 원본 단어 순서에 더 가깝게 따라가도록 생성함으로써, wait-$k$ 모델이 더 단조적이고 저지연 번역을 가능하게 하며, 여러 언어 쌍에서 BLEU 점수를 향상시킨다. 특히 영어-한국어와 같은 도전적인 언어 쌍에서 유의미한 성능 향상을 보였다.

ABSTRACT

Recent work in simultaneous machine translation is often trained with conventional full sentence translation corpora, leading to either excessive latency or necessity to anticipate as-yet-unarrived words, when dealing with a language pair whose word orders significantly differ. This is unlike human simultaneous interpreters who produce largely monotonic translations at the expense of the grammaticality of a sentence being translated. In this paper, we thus propose an algorithm to reorder and refine the target side of a full sentence translation corpus, so that the words/phrases between the source and target sentences are aligned largely monotonically, using word alignment and non-autoregressive neural machine translation. We then train a widely used wait-k simultaneous translation model on this reordered-and-refined corpus. The proposed approach improves BLEU scores and resulting translations exhibit enhanced monotonicity with source sentences.

연구 동기 및 목표

• 표준 전체 문장 코퍼스를 기반으로 훈련된 SimulMT 모델에서 발생하는 비단조적 번역 문제를 해결하기 위해, 과도한 예측이나 높은 지연을 유발하는 원인을 해결한다.
• 표준 병렬 코퍼스를 단조적으로 정렬되고 청크 단위로 재정렬되며 유창하게 개선된 훈련 데이터로 변환하여 SimulMT의 번역 품질과 단조성을 향상시킨다.
• 훈련 데이터의 단조성 향상이 wait-$k$ SimulMT 모델의 단조성과 성능 향상에 기여하는지 탐구한다.
• 다양한 언어 쌍, 특히 영어-한국어, 영어-일본어와 같이 어순 차이가 큰 언어 쌍에서 제안된 방법의 효과성을 평가한다.

제안 방법

• 먼저 고정 길이 또는 정렬 기반 전략을 사용하여 원본 문장과 목표 문장을 청크로 분할하여 의미적 일관성을 유지한다.
• 단어 정렬 정보를 기반으로 목표 문장 청크를 원본 청크와 단조적으로 정렬하여, 목표 단어가 원본의 시간적 순서를 따르도록 한다.
• 비자기적 신경 번역(NAT) 모델을 미세조정하여 재정렬된 목표 문장 시퀀스를 유창성과 문법적 정확도를 향상시키면서도 단조적 정렬를 유지하도록 개선한다.
• 개선되고 단조적인 병렬 코퍼스를 사용해 표준 wait-$k$ SimulMT 모델을 사전 훈련하거나 미세조정하며, 제한된 지연을 가진 채로 점진적으로 번역을 생성한다.
• BLEU와 Kendall의 $\tau$를 번역 품질과 단조성 측정 지표로 사용하여, 영어-코리아(EnKo), 영어-일본어(EnJa), 영어-중국어(EnZh), 독일어-영어(DeEn) 등 다양한 언어 쌍에서 방법을 평가한다.
• 표준 오프라인 코퍼스를 기반으로 훈련된 베이스라인 wait-$k$ 모델과 비교하며, 청크 전략과 개선 기법에 대한 분석 실험을 실시한다.

실험 결과

연구 질문

• RQ1 표준 전체 문장 병렬 코퍼스를 재정렬하고 개선함으로써 SimulMT 모델의 단조성이 향상될 수 있는가?
• RQ2 원본 언어와 목표 언어 간의 어순 차이 정도가 제안된 방법의 효과성에 영향을 미치는가?
• RQ3 재구성된 단조적 코퍼스를 기반으로 훈련한 SimulMT 모델이 표준 훈련 방식에 비해 BLEU 점수와 단조성에서 얼마나 향상되는가?
• RQ4 평균 문장 길이와 어순 일치 정도가 다른 언어 쌍에서 성능 향상 정도가 다를 수 있는가?
• RQ5 고정 길이 vs. 정렬 기반 청크 전략의 선택이 최종 번역 품질과 단조성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 EnKo 언어 쌍에서 오프라인 베이스라인 대비 약 8% 향상된 BLEU 점수를 기록했으며, EnZh(+3%), DeEn(+2%)에서도 일관된 향상을 보였다.
• Kendall의 $\tau$로 측정한 단조성은 재구성된 훈련 데이터에서 유의미하게 향상되었으며, 특히 어순 차이가 큰 언어 쌍인 EnKo에서 두드러진 효과를 보였다.
• 재구성된 코퍼스를 기반으로 훈련된 wait-$k$ 모델은 온라인 참조보다 오프라인 참조에서 더 높은 BLEU 점수를 기록했으며, 인간의 단조적 번역 방식과 더 유사한 성능을 보였다.
• 단조성 향상 정도가 훈련 데이터의 단조성 향상 정도와 비례함을 확인하여, 훈련 데이터의 단조성이 모델 행동에 직접적인 영향을 미친다는 것을 입증했다.
• EnJa에서는 평균 문장 길이가 짧고 발화 빈도가 높아 청크화와 재정렬의 이점이 제한적으로 나타나 성능 향상이 미미했다.
• Fixed + NAT 및 AlignAw + NAT 개선 전략 모두 유창성을 향상시켰지만, 특히 높은 $k$ 값에서 AlignAw + NAT 전략이 더 뛰어난 단조성을 보였다.