[논문 리뷰] Hint-Based Training for Non-Autoregressive Machine Translation

Zhuohan Li, Zi Lin외 5명|arXiv (Cornell University)|2019. 09. 15.

Natural Language Processing Techniques참고 문헌 19인용 수 12

한 줄 요약

이 논문은 사전에 훈련된 자동적 순차 모델(autoregressive teacher model)의 은닉 상태 유사성과 주의 분포를 활용하여 비자기 순차 신경 기계 번역(NART) 모델의 번역 품질을 향상시키는 힌트 기반 훈련 방법을 제안한다. 이 방법은 자동적 순차 기반 모델에 비해 30.2배 빠른 추론 속도를 유지하면서도 강력한 LSTM 기반 자동적 순차 모델 수준의 BLEU 점수를 달성하여 NART 성능을 크게 향상시킨다. 추가로 계산 비용이 많이 드는 구성 요소를 도입하지 않는다.

ABSTRACT

Due to the unparallelizable nature of the autoregressive factorization, AutoRegressive Translation (ART) models have to generate tokens sequentially during decoding and thus suffer from high inference latency. Non-AutoRegressive Translation (NART) models were proposed to reduce the inference time, but could only achieve inferior translation accuracy. In this paper, we proposed a novel approach to leveraging the hints from hidden states and word alignments to help the training of NART models. The results achieve significant improvement over previous NART models for the WMT14 En-De and De-En datasets and are even comparable to a strong LSTM-based ART baseline but one order of magnitude faster in inference.

연구 동기 및 목표

• 비자기 순차 번역(NART) 모델의 낮은 번역 품질 문제를 해결하기 위해, 자동적 순차적 의존성 부족으로 인한 일관성 없는 출력 문제를 해결한다.
• 복잡한 아키텍처 수정을 피하면서도 추론 속도를 유지한 채 NART 성능을 향상시키기 위해 노력한다.
• 자기 순차 모델의 은닉 상태 상관관계와 주의 분포가 NART 훈련에 효과적인 지도 신호로 기능할 수 있는지 탐구한다.
• 비자기 순차 모델의 성능을 강력한 자동적 순차 기반 모델 수준으로 끌어올리되, 수십 배 빠른 추론 속도를 유지한다.

제안 방법

• 사전에 훈련된 자동적 순차 모델(ART)을 교사로 활용하여 은닉 상태 표현과 주의 분포를 추출하여 지도 신호로 사용한다.
• 두 가지 유형의 힌트를 도입한다: (1) 반복적인 출력을 줄이기 위한 은닉 상태 유사성 정규화, (2) 주의 분포 품질 향상을 위한 정렬 기반 주의 정복.
• NART 모델은 음의 로그우도(NLL), 정렬 손실, 은닉 상태 유사성 손실을 포함하는 다중 과제 손실 함수로 훈련된다.
• 은닉 상태 유사성 손실은 디코더의 서로 다른 위치에 있는 은닉 상태 간 코사인 유사도를 최소화하여 반복 예측을 방지한다.
• 정렬 손실은 NART 모델의 인코더-디코더 주의가 ART 교사 모델의 주의 패턴을 모방하도록 유도한다.
• 이 방법은 소스 문장을 그대로 복사하여 입력으로 사용하고, 자기 주의층(self-attention layers)에 자동적 순차 마스크를 적용하지 않는 Transformer 기반 NART 모델에 적용된다.

실험 결과

연구 질문

• RQ1 자기 순차 모델의 은닉 상태 표현이 비자기 순차 번역 모델의 훈련에 도움이 될 수 있는가?
• RQ2 자기 순차 모델에서 주의 분포를 정복하면 NART 출력의 모호성 감소와 정렬 개선에 기여하는가?
• RQ3 힌트 기반 훈련이 계산 비용을 추가하지 않고도 NART와 자동적 순차 모델 간의 성능 격차를 줄일 수 있는가?
• RQ4 은닉 상태 유사성과 주의 정복이 비자기 순차 모델에서 반복적이거나 일관성 없는 어구 생성을 얼마나 줄이는가?

주요 결과

• 제안된 힌트 기반 NART 모델은 WMT14 De-En에서 BLEU 점수 25.55를 기록하여 이전 최고의 NART 모델(LT with rescoring)보다 3.0 BLEU 포인트 높다.
• WMT14 En-De에서 모델은 BLEU 점수 21.11을 달성하여 이전 최신 기술 수준의 NART 모델(LT with rescoring)을 1.9 BLEU 포인트 초월한다.
• 자기 순차 Transformer 기반 베이스라인 대비 추론 속도가 30.2배 빨라졌으며, 문장당 지연 시간은 오직 26ms에 불과하다.
• IWSLT14 De-En에서 반복 단어 비율은 8.3%에서 6.5%로 감소하여 출력의 일관성 향상을 입증한다.
• 제거 실험 결과, 정렬 힌트가 전체 성능에 1.6 BLEU 포인트 기여하고, 은닉 상태 힌트가 0.8 BLEU 포인트 기여한다.
• 긴 문장(길이 ≥40)에서는 기준 모델 대비 BLEU 점수가 3.15 포인트 향상(20.63 vs. 17.48)되어 강력한 일반화 능력을 보여준다.