[논문 리뷰] Aligned Cross Entropy for Non-Autoregressive Machine Translation

Marjan Ghazvininejad, Vladimir Karpukhin외 2명|arXiv (Cornell University)|2020. 04. 03.

Natural Language Processing Techniques참고 문헌 30인용 수 68

한 줄 요약

AXE는 비자기회귀 MT를 위한 새로운 학습 손실로, differentiable dynamic program를 통해 타깃 토큰과 모델 예측을 정렬하며, cross-entropy로 학습된 CMLM 대비 BLEU를 크게 향상시키고 디코딩은 빠르게 유지합니다.

ABSTRACT

Non-autoregressive machine translation models significantly speed up decoding by allowing for parallel prediction of the entire target sequence. However, modeling word order is more challenging due to the lack of autoregressive factors in the model. This difficultly is compounded during training with cross entropy loss, which can highly penalize small shifts in word order. In this paper, we propose aligned cross entropy (AXE) as an alternative loss function for training of non-autoregressive models. AXE uses a differentiable dynamic program to assign loss based on the best possible monotonic alignment between target tokens and model predictions. AXE-based training of conditional masked language models (CMLMs) substantially improves performance on major WMT benchmarks, while setting a new state of the art for non-autoregressive models.

연구 동기 및 목표

• 표준 교차 엔트로피 손실 하에서 비자기회귀 MT의 단어 순서 모델링의 어려움을 동기부여하고 해결한다.
• Aligned Cross Entropy (AXE)를 미분 가능하고 정렬 기반 손실로 도입한다.
• AXE의 효과를 CMLM을 학습시켜 주요 벤치마크에서 최상위 비자기회귀 MT 결과를 달성함으로써 입증한다.
• AXE가 모델 신뢰도, 다중모달성, 긴 시퀀스 처리에 미치는 영향을 분석한다.

제안 방법

• AXE를 대상 Y와 예측 P 간의 최적의 단조 정렬 위에서 계산되는 손실로 정의한다.
• 정렬(A), 예측 건너뛰기(Skip Prediction), 대상 건너뛰기(Skip Target)의 세 가지 연산자 동적 프로그래밍 업데이트를 사용하여 어떤 정렬에 대해서도 AXE를 계산한다.
• 모든 단조 정렬에 대해 AXE를 최소화하며, 순환-대각선 반병렬화로 O(n+m) 시간에 효율적으로 구현한다.
• 빈 토큰(epsilon)을 허용하고 길이를 예측하도록 CMLM에 AXE를 적용하며, decoding 시 길이 팽창은 하이퍼파라미터 lambda를 통해 제어한다.
• Unobserved Input 대 Partially-Observed Input, 그리고 모든 마스크 예측 대 마스크 예측 등의 훈련 변형을 실험해 효과적인 훈련 구성을 식별한다.

실험 결과

연구 질문

• RQ1 AXE가 비자기회귀 MT의 표준 교차 엔트로피 학습에서 단어 순서 불일치에 대한 가혹한 페널티를 줄일 수 있는가?
• RQ2 AXE가 CMLMs를 사용한 표준 WMT 벤치마크에서 BLEU를 향상시키는가?
• RQ3 AXE로 학습된 모델은 원시 데이터 및 증류된 데이터 설정에서 다른 비자기회귀 접근법 및 자기회귀 베이스라인과 어떻게 비교되는가?
• RQ4 어떤 훈련 선택(예: delta skip penalty, 길이 배수 lambda, 부분적으로 관찰된 입력)이 AXE 성능에 가장 큰 영향을 미치는가?

주요 결과

• AXE로 학습된 CMLM은 교차 엔트로피 CMLM에 비해 BLEU를 크게 증가시켰다(평균 +5.2 BLEU across benchmarks).
• AXE CMLMs는 WMT 벤치마크에서 FlowSeq와 경쟁력 있는 반자회귀 시스템 등 최첨단 비자기회귀 모델보다 우수하다.
• AXE는 비자기회귀 디코딩과 동일한 디코딩 속도를 유지하되 학습 시간은 약간의 오버헤드(+≈1.2x)를 보인다.
• AXE는 다중모달성 및 반복을 줄이고, 특히 긴 시퀀스에서 위치별 예측의 자신감을 더 높게 만든다.
• 실험은 AXE가 긴 시퀀스 처리 성능을 개선하고 교차 엔트로피 학습에 비해 이웃 토큰 확률에 대한 의존도를 줄임을 보여준다.
• 비관측 입력에서 마스크 토큰에 대한 손실을 계산하고 델타(delta)와 lambda 값을 조정한 경우 성능이 향상된다(ablations).