[논문 리뷰] ngram-OAXE: Phrase-Based Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation

Cunxiao Du, Zhaopeng Tu외 2명|arXiv (Cornell University)|2022. 10. 08.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 비자기적 기계 번역을 위한 어절 기반 순서 무관 교차 엔트로피 손실인 ngram-OaXE를 제안한다. 이는 각 어절의 엄격한 순서를 유지하면서 어간 어구 간에만 재정렬을 允허함으로써 번역 품질을 향상시킨다. ngram 수준의 확률 분포를 모델링하고, 히úng가리안 알고리즘을 통해 최적의 ngram 순서를 최적화함으로써 반복을 줄이고 유창성을 향상시킨다. 지식 증류 없이도 원시 WMT14 En-De 데이터에서 OaXE 대비 최대 +3.8 BLEU 포인트 향상을 달성한다.

ABSTRACT

Recently, a new training oaxe loss has proven effective to ameliorate the effect of multimodality for non-autoregressive translation (NAT), which removes the penalty of word order errors in the standard cross-entropy loss. Starting from the intuition that reordering generally occurs between phrases, we extend oaxe by only allowing reordering between ngram phrases and still requiring a strict match of word order within the phrases. Extensive experiments on NAT benchmarks across language pairs and data scales demonstrate the effectiveness and universality of our approach. %Further analyses show that the proposed ngram-oaxe alleviates the multimodality problem with a better modeling of phrase translation. Further analyses show that ngram-oaxe indeed improves the translation of ngram phrases, and produces more fluent translation with a better modeling of sentence structure.

연구 동기 및 목표

• 비자기적 번역(NAT)에서 독립적인 토큰 예측이 반복적이고 유창하지 못한 출력을 유도하는 다중모달성 문제를 해결하기 위해.
• 개별 단어 수준이 아닌 어간 어구 수준에서 재정렬을 모델링하여 원시, 증류되지 않은 훈련 데이터에서 NAT 성능을 향상시키기 위해.
• 빠른 디코딩 속도를 유지하면서 어구 수준의 번역 정확도와 문장 구조 모델링을 향상시키기 위해.
• 더 구조화된 훈련 목표를 통해 지식 증류에 대한 의존도를 줄이고 원시 데이터로부터 효과적인 훈련을 가능하게 하기 위해.

제안 방법

• 모델이 생성한 연속된 n-gram 스펙트럼 내의 개별 단어 확률을 곱하여 ngram 확률 분포를 구성한다.
• ngram-OaXE 손실은 타겟 문장 내 모든 가능한 ngram 어구 순서에 대한 최소 교차 엔트로피로 정의된다.
• 최적의 ngram 순서는 손실을 최소화하기 위해 히úng가리안 알고리즘을 사용해 효율적으로 계산한다.
• 코드 변경 최소화를 위해 OaXE 소스 코드에 단 한 줄만 추가하여 구현되었으며, 훈련 시간 증가 폭이 미미하다(예: 3%).
• 각 ngram 내에서 단어 순서를 엄격히 유지하면서 ngram 간 순서 재정렬을 허용함으로써 문법적 및 문맥적 제약과 더 잘 부합한다.
• 손실 함수는 훈련 중에 적용되어 모델이 자동 회귀 디코딩 없이도 더 강력하고 자연스러운 번역을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 단어 수준이 아닌 어간 어구 수준에서 재정렬을 모델링하면 비자기적 번역 품질이 향상되는가?
• RQ2 OaXE 및 표준 교차 엔트로피 손실 대비 ngram-OaXE는 토큰 반복을 줄이고 유창성을 향상시키는가?
• RQ3 ngram-OaXE는 지식 증류 없이도 원시, 증류되지 않은 훈련 데이터에서 강력한 NAT 성능을 달성할 수 있는가?
• RQ4 ngram-OaXE는 장문 문장 및 어구 수준의 일관성 모델링을 어느 정도 향상시키는가?

주요 결과

• ngram-OaXE는 지식 증류 없이도 원시 WMT14 En-De 데이터에서 OaXE 대비 최대 +3.8 BLEU 포인트 향상을 보이며 강력한 성능 향상을 입증한다.
• 증류된 데이터에서 ngram-OaXE는 반복률을 OaXE의 1.56%에서 0.98%로 낮춰 다중모달성 문제에 더 잘 대응함을 보여준다.
• 모든 설정에서 낮은 퍼플렉서티 스코어를 기록하여, OaXE 대비 생성된 번역의 유창성이 높다는 것을 나타낸다.
• 특히 더 길고 복잡한 어구에서 ngram 어구 생성 정확도가 크게 향상된다.
• 원시 데이터 훈련과 증류된 데이터 훈련 간 성능 격차를 좁혀, NAT에서 효과적인 자기지도 학습을 가능하게 함을 시사한다.
• 훈련 시간 증가는 극히 미미하여 OaXE 대비 약 3% 뿐이므로 대규모 훈련에 실용적이다.