[논문 리뷰] Novel Applications of Factored Neural Machine Translation

Patrick Wilken, Evgeny Matusov|arXiv (Cornell University)|2019. 10. 09.

Natural Language Processing Techniques참고 문헌 21인용 수 9

한 줄 요약

이 논문은 운영 순서 신경 기계 번역(OSNMT)에서 목표 토큰 측 요인을 사용하여 단어의 대소문자, 서브워드 분할, 특수 토큰을 예측하는 사실상 신경 기계 번역(FNMT)의 새로운 응용을 제안한다. 이 방법은 번역 품질을 훼손하지 않으면서 디코딩 효율을 향상시키고, 어휘 외 단어를 처리할 수 있으며, 시퀀스 길이가 감소함으로써 OSNMT에서 상당한 BLEU 향상을 달성한다. 영어-독일어 및 영어-터키어 번역 작업에서 속도와 성능을 유지한다.

ABSTRACT

In this work, we explore the usefulness of target factors in neural machine translation (NMT) beyond their original purpose of predicting word lemmas and their inflections, as proposed by Garcìa-Martìnez et al., 2016. For this, we introduce three novel applications of the factored output architecture: In the first one, we use a factor to explicitly predict the word case separately from the target word itself. This allows for information to be shared between different casing variants of a word. In a second task, we use a factor to predict when two consecutive subwords have to be joined, eliminating the need for target subword joining markers. The third task is the prediction of special tokens of the operation sequence NMT model (OSNMT) of Stahlberg et al., 2018. Automatic evaluation on English-to-German and English-to-Turkish tasks showed that integration of such auxiliary prediction tasks into NMT is at least as good as the standard NMT approach. For the OSNMT, we observed a significant improvement in BLEU over the baseline OSNMT implementation due to a reduced output sequence length that resulted from the introduction of the target factors.

연구 동기 및 목표

• 어순 및 형태소 태깅을 초월하여 사실상 NMT를 보조 예측 작업(예: 대소문자, 서브워드 분할 등)에 응용하기 위해 확장하는 것.
• 목표 측 요인을 사용해 각 디코딩 단계에서 다수의 타겟 토큰을 예측함으로써 시퀀스 길이를 단축하고 추론 속도를 향상시키는 것.
• 어휘가 적은 환경에서 데이터 희소성을 완화하기 위해 단어 대소문자 변형 간 정보를 명시적으로 공유하는 것.
• 특수 제어 토큰을 분리함으로써 운영 순서 NMT(OSNMT) 모델을 향상시키고, 시퀀스 길이를 단축하며 성능을 향상시키는 것.

제안 방법

• 사실상 디코더 아키텍처는 각 디코딩 단계에서 두 가지 출력을 생성한다: 주요 타겟 토큰과 보조 예측(예: 대소문자, 분할 등)을 위한 요인.
• 대소문자 요인은 디코더 상태와 주요 토큰 임베딩에 조건화된 별도의 소프트맥스 레이어를 사용하여 대문자/소문자 변형을 예측한다.
• 분할 요인은 연속된 두 서브워드가 결합되어야 하는지 여부를 예측하여, 서브워드 토크나이제이션에서 '@@'와 같은 결합 마커가 필요 없도록 한다.
• OSNMT의 경우, 특수 작업 토큰(예: SRC_POP)을 예측하는 요인이 사용되어 각 단계에서 다수의 작업을 처리함으로써 디코딩 단계 수를 줄인다.
• 주 출력과 요인 출력에 대해 함께 크로스 엔트로피 손실을 최적화하여 엔드 투 엔드로 학습하며, 비트 서치를 수정하여 두 출력을 동시에 고려하도록 한다.
• 모델은 BLEU, TER, 디코딩 속도 메트릭을 사용하여 영어-독일어 및 영어-터키어 번역 작업에서 평가된다.

실험 결과

연구 질문

• RQ1 목표 측 요인을 사용해 대소문자를 효과적으로 예측할 수 있으며, 추론 비용을 증가시키지 않고 일반화 성능을 향상시킬 수 있는가?
• RQ2 서브워드 결합 결정을 요인으로 예측하는 것이 복합어의 번역, 특히 미리 보지 못한 복합어의 번역을 향상시키는가?
• RQ3 사실상 NMT를 통해 OSNMT에서 각 단계에서 다수의 작업을 예측함으로써 시퀀스 길이를 줄일 수 있으며, 이는 더 빠른 디코딩과 향상된 성능로 이어지는가?
• RQ4 어휘가 적은 환경에서 사실상 NMT는 표준 NMT 및 트루케이싱과 비교해 대소문자 예측 성능에서 어떻게 다른가?
• RQ5 요인화를 통한 보조 예측 작업 통합이 번역 품질 향상에 기여하는가, 아니면 오직 시퀀스 효율성 향상에만 기여하는가?

주요 결과

• 대소문자 요인은 영어-독일어 newstest2019에서 BLEU 점수 37.9%를 기록하여 진짜 대소문자 서브워드를 사용한 베이스라인과 동일한 번역 품질을 확보함으로써 번역 품질 저하 없음을 입증했다.
• 분할 요인은 복합어 번역 성능을 크게 향상시켰다 — 예를 들어 'show-jumping stadium'과 'technology legend'와 같은 단어는 기존 베이스라인이 그대로 복사했지만, 이 요인을 통한 예측으로 인해 정확하게 번역되었다.
• 사실상 OSNMT 모델은 출력 시퀀스 길이를 단축시키고, 비사실상 베이스라인 대비 상당한 BLEU 향상을 달성하여 제어 토큰의 공동 예측의 유용성을 입증했다.
• 요인화를 통해 디코딩 속도는 거의 변화하지 않았다. 두 번째 요인의 작은 출력 공간과 줄어든 주 토큰 어휘로 인해 계산 비용이 상쇄되기 때문이다.
• 어휘가 적은 환경에서 대소문자 요인은 베이스라인 대비 측정 가능한 향상을 보였으며, 공유 표현을 통해 데이터 희소성 문제를 더 잘 다루고 있음을 시사한다.
• 두 언어 쌍 모두에서 일관된 성능 유지를 확보하여, 보조 요인화가 번역 품질을 손상시키지 않으면서도 구조적 개선을 가능하게 한다는 점을 확인했다.