[논문 리뷰] Non-Autoregressive Machine Translation with Auxiliary Regularization

Yiren Wang, Fei Tian외 4명|arXiv (Cornell University)|2019. 02. 22.

Natural Language Processing Techniques참고 문헌 18인용 수 18

한 줄 요약

이 논문은 비자기적 기계 번역(NAT) 모델의 디코더 히든 상태 품질을 향상시키기 위해 유사도 정규화와 복원 정규화라는 두 가지 보조 정규화 기법을 제안한다. 인접한 히든 상태 간의 유사도를 최소화하고, 역방향 번역을 통한 소스 측 복원을 강제화하여 반복적이고 불완전한 번역을 줄이고, 자동회귀 모델보다 빠른 추론 속도를 유지하면서도 최신 기준 BLEU 점수(30.84, IWSLT14 De-En)를 달성한다.

ABSTRACT

As a new neural machine translation approach, Non-Autoregressive machine Translation (NAT) has attracted attention recently due to its high efficiency in inference. However, the high efficiency has come at the cost of not capturing the sequential dependency on the target side of translation, which causes NAT to suffer from two kinds of translation errors: 1) repeated translations (due to indistinguishable adjacent decoder hidden states), and 2) incomplete translations (due to incomplete transfer of source side information via the decoder hidden states). In this paper, we propose to address these two problems by improving the quality of decoder hidden representations via two auxiliary regularization terms in the training process of an NAT model. First, to make the hidden states more distinguishable, we regularize the similarity between consecutive hidden states based on the corresponding target tokens. Second, to force the hidden states to contain all the information in the source sentence, we leverage the dual nature of translation tasks (e.g., English to German and German to English) and minimize a backward reconstruction error to ensure that the hidden states of the NAT decoder are able to recover the source side sentence. Extensive experiments conducted on several benchmark datasets show that both regularization strategies are effective and can alleviate the issues of repeated translations and incomplete translations in NAT models. The accuracy of NAT models is therefore improved significantly over the state-of-the-art NAT models with even better efficiency for inference.

연구 동기 및 목표

• 비자기적 기계 번역(NAT) 모델에서 반복적이고 불완전한 번역 오류를 해결하기 위해.
• 이산 변수를 도입하지 않으면서도 추론 효율성을 훼손하지 않고 디코더 히든 표현의 품질을 향상시키기 위해.
• 자기적 NMT 모델과의 성능 격차를 줄이면서도 높은 추론 속도를 유지하기 위해.
• NAT 학습에서 복잡한 잠재 변수 기반 메커니즘의 대안으로 정규화 기반 접근법을 탐색하기 위해.

제안 방법

• 이웃하는 디코더 히든 상태 간의余弦 유사도를 그에 해당하는 타겟 토큰 임베딩의 유사도와 일치시키기 위해 유사도 정규화를 도입한다.
• 역방향 자동회귀 번역기를 NAT 디코더 출력 위에 적용하여 복원 정규화를 적용함으로써, 히든 상태가 전체 소스 정보를 유지하도록 보장한다.
• 최적화 과정에서 두 정규화 항을 함께 학습하지만, 추론 시에는 이를 제거하여 속도를 유지한다.
• 역방향 복원을 자가학습 신호로 활용하기 위해 번역 작업의 이중성(예: 영어-독일어 및 독일어-영어)을 활용한다.
• 실제 디코딩 조건에서 성능을 평가하기 위해 교사 모델 정규화와 후보 재순서 정렬을 활용한다.
• 표준 교차 엔트로피 손실에 두 보조 정규화 항을 추가하여 NAT 모델을 엔드 투 엔드로 최적화한다.

실험 결과

연구 질문

• RQ1 보조 정규화가 비자기적 번역 모델의 디코더 히든 상태 품질을 향상시킬 수 있는가?
• RQ2 유사도 정규화가 이웃하는 히든 상태를 더 구분 가능하게 만들어 반복 번역 오류를 효과적으로 줄일 수 있는가?
• RQ3 복원 정규화가 소스 측 정보 유지 보장을 통해 불완전한 번역을 줄이는 데 효과적인가?
• RQ4 두 정규화 전략이 종합적인 번역 품질 향상에 상호보완적인 역할을 하는가?
• RQ5 이 방법은 고속 추론을 유지하면서도 최신 기준 NAT 성능을 달성할 수 있는가?

주요 결과

• 두 정규화 항을 모두 적용한 제안된 NAT 모델은 IWSLT14 De-En 개발 세트에서 BLEU 점수 30.84를 기록하여 기본 NAT 모델(28.73)과 최신 기준 베이스라인을 초월한다.
• 유사도 정규화만 적용해도 BLEU 점수가 30.02로 상승하였으며, 문장당 중복 제거 작업 수가 2.3에서 0.9로 감소하여 반복 번역의 효과적인 완화가 이루어졌음을 시사한다.
• 복원 정규화만 적용해도 BLEU 점수가 30.21에 도달하여, 소스 측 정보 유지 보장을 통해 불완전한 번역을 줄이는 데 효과적임을 입증한다.
• 두 정규화의 조합은 기본 모델 대비 BLEU 점수 2.11포인트 향상시켰으며, 부분적으로는 상호보완적인 이점을 보였지만, 덜 상쇄되는 성능 향상이었다.
• 9개 후보 재순서 정렬 조건에서 자동회귀 NMT 대비 15.1배의 속도 향상을 달성하였으며, NAT-FT 디코딩 수준과 유사하여 추론 효율성이 그대로 유지됨을 확인했다.
• 제거 실험 결과, 일반화된 유사도 페널티가 성능을 해칠 수 있음(_BLEU 28.32로 하락_)을 확인하여, 작업에 특화된 정규화 설계의 중요성을 강조한다.