[논문 리뷰] Simultaneous Neural Machine Translation using Connectionist Temporal Classification

Katsuki Chousa, Katsuhito Sudoh외 1명|arXiv (Cornell University)|2019. 11. 27.

Natural Language Processing Techniques참고 문헌 13인용 수 5

한 줄 요약

이 논문은 번역 지연을 동적으로 제어할 수 있는 학습 가능한 <wait> 토큰을 사용하는 새로운 동시 신경 기계 번역 방법을 제안한다. 이는 더 나은 맥락을 확보하기 위해 유연하게 기다리는 것을 가능하게 한다. 연결성 시간 분류(CTC)와 지연 페널티, 표준 교차 엔트로피 손실을 결합함으로써 번역 품질과 시간을 동시에 최적화하며, 전체 문장 번역보다 낮은 지연을 달성하면서도 영어-일본어 번역 과제에서 경쟁적인 정확도를 유지한다.

ABSTRACT

Simultaneous machine translation is a variant of machine translation that starts the translation process before the end of an input. This task faces a trade-off between translation accuracy and latency. We have to determine when we start the translation for observed inputs so far, to achieve good practical performance. In this work, we propose a neural machine translation method to determine this timing in an adaptive manner. The proposed method introduces a special token '', which is generated when the translation model chooses to read the next input token instead of generating an output token. It also introduces an objective function to handle the ambiguity in wait timings that can be optimized using an algorithm called Connectionist Temporal Classification (CTC). The use of CTC enables the optimization to consider all possible output sequences including '' that are equivalent to the reference translations and to choose the best one adaptively. We apply the proposed method into simultaneous translation from English to Japanese and investigate its performance and remaining problems.

연구 동기 및 목표

• 영어와 일본어처럼 문법적으로 거리가 먼 언어 쌍에 대해 동시 신경 기계 번역에서 지연-정확도 트레이드오프를 해결하기 위해.
• 학습 가능한 <wait> 토큰을 도입하여 번역 중에 맥락에 따라 유연하게 기다리는 것을 가능하게 하기 위해.
• 골드 표준 애너테이션 없이도 <wait> 토큰의 정확한 위치를 다룰 수 있도록 연결성 시간 분류(CTC)를 사용하여 모델을 훈련시키기 위해.
• 고정 지연 시간이 아닌 입력 복잡도에 기반해 최적의 기다림 지점 학습을 통해 저지연 환경에서의 번역 품질을 향상시키기 위해.
• 작은 규모와 중간 규모의 병렬 코퍼스에서의 평가를 통해 다양한 입력 길이와 구조적 복잡도에 대한 적응 능력을 평가하기 위해.

제안 방법

• 모델이 번역을 연기하고 다음 입력 토큰을 읽는 결정을 내릴 때를 나타내기 위해 타겟 시퀀스에 특수한 <wait> 토큰을 도입한다.
• 모든 가능한 <wait> 토큰 삽입 방식 중 참조 번역과 동치인 경우를 고려하여 CTC를 사용해 모델을 훈련시켜, 훈련 중에 애너테이션의 모호성 문제를 해결한다.
• CTC 손실과 지연 페널티, 표준 교차 엔트로피 손실을 결합하여 번역 정확도, 지연 제어, <wait> 토큰의 적절한 타이밍을 동시에 최적화한다.
• 증분 디코딩 설정에서 디코더가 인코더가 변수 수의 소스 토큰을 처리한 후에만 출력 토큰을 생성하도록 적용한다. 이는 <wait> 결정에 의해 결정된다.
• 출력 생성과 기다림 행동을 포함한 전체 시퀀스에 대해 엔드 투 엔드 최적화가 가능한 미분 가능한 훈련 목표를 사용한다.
• 지연과 번역 품질 간의 트레이드오프를 제어하기 위해 하이퍼파라미터 α를 사용한다. α가 높을수록 번역을 빨리 시작하고, 낮을수록 더 많은 기다림을 허용한다.

실험 결과

연구 질문

• RQ1 고정 지연 일정에 의존하지 않고도 신경 모델이 번역 중에 언제 더 많은 입력을 기다려야 할지 결정할 수 있는가?
• RQ2 <wait> 타이밍이 모호할 경우 CTC가 훈련 안정성과 성능을 어떻게 향상시키는가?
• RQ3 문법적으로 거리가 먼 언어 쌍에서 고정 지연 기반 베이스라인인 Wait-k보다 더 나은 지연-정확도 트레이드오프를 달성하는가?
• RQ4 지연된 문법적 의존성이 있는 복잡한 장문의 문장에서 모델은 어떻게 성능을 내는가?
• RQ5 특히 과도한 <wait> 토큰 생성에 대해 모델의 실패 모드는 무엇인가?

주요 결과

• small_parallel_enja 데이터셋에서 제안된 방법은 지연 4.32(±3.14) 토큰, BLEU 28.01, RIBES 81.78을 달성했으며, 전체 문장 번역 대비 50% 이상 지연을 줄였지만 합리적인 품질을 유지했다.
• α = 0.01일 때 모델은 BLEU 30.42, RIBES 82.60을 기록했으며, k=3인 Wait-k(BLEU 31.06)보다 RIBES와 지연 측면에서 뛰어난 성능을 보였다. BLEU는 낮지만 전체 성능 측면에서 유리했다.
• ASPEC 데이터셋에서 제안된 방법은 복잡한 장거리 의존성으로 인해 Wait-k(k=5)의 5.00 토큰보다 훨씬 높은 지연(α=0.03일 때 23.03 토큰)을 보였다.
• 모델은 'swimming'이라는 어간을 전체 서브워드 'swim'을 관찰한 후에야 정확히 번역할 수 있었으며, Wait-k와 같은 고정 지연 모델에서 발생하는 오류를 피했다.
• 모델은 종종 낮은 α 설정에서 연속된 <wait> 토큰을 생성했으며, 이는 현재 훈련 목표에서 과도한 기다림에 대한 페널티가 부족함을 시사한다.
• 결과는 입력 복잡도에 따라 지연을 적응적으로 조절함을 보여주며, 단순한 입력에는 짧은 지연, 복잡한 입력에는 긴 기다림을 통해 동적이고 맥락 인식형 행동을 보임을 시사한다.