[논문 리뷰] Retrieving Sequential Information for Non-Autoregressive Neural Machine Translation

Chenze Shao, Yang Feng외 4명|arXiv (Cornell University)|2019. 06. 22.

Natural Language Processing Techniques참고 문헌 39인용 수 12

한 줄 요약

이 논문은 비자기적 신경 기계 번역(NAT)의 성능을 향상시키기 위해 목표 시퀀스 정보를 검색하는 두 가지 방법을 제안한다: (1) 분산을 줄인 강화 학습 알고리즘을 사용하는 시퀀스 수준 훈련 방법인 Reinforce-NAT, 및 (2) 최상위 레이어에서 시퀀스 정보를 융합하는 새로운 Transformer 디코더인 FS-decoder. 이 두 접근법은 NAT 모델의 빠른 디코딩 속도를 유지하면서도 번역 품질을 크게 향상시키며, 특히 긴 문장에서 두드러진 성능 향상을 보인다.

ABSTRACT

Non-Autoregressive Transformer (NAT) aims to accelerate the Transformer model through discarding the autoregressive mechanism and generating target words independently, which fails to exploit the target sequential information. Over-translation and under-translation errors often occur for the above reason, especially in the long sentence translation scenario. In this paper, we propose two approaches to retrieve the target sequential information for NAT to enhance its translation ability while preserving the fast-decoding property. Firstly, we propose a sequence-level training method based on a novel reinforcement algorithm for NAT (Reinforce-NAT) to reduce the variance and stabilize the training procedure. Secondly, we propose an innovative Transformer decoder named FS-decoder to fuse the target sequential information into the top layer of the decoder. Experimental results on three translation tasks show that the Reinforce-NAT surpasses the baseline NAT system by a significant margin on BLEU without decelerating the decoding speed and the FS-decoder achieves comparable translation performance to the autoregressive Transformer with considerable speedup.

연구 동기 및 목표

• 비자기적 트랜스포머(NAT)가 목표 시퀀스 정보가 부족하여 긴 문장에서 성능이 떨어지는 문제를 해결한다.
• 비자기적 모델에서 자주 발생하는 강화 학습의 높은 분산으로 인한 훈련 분산 문제를 줄이고 시퀀스 수준 훈련의 안정성을 높인다.
• 디코더 아키텍처에 시퀀스 지식을 통합함으로써 비자기적 모델의 빠른 디코딩 속도를 유지하면서도 번역 품질을 향상시킨다.
• 자기적 트랜스포머 수준의 번역 품질을 달성하면서도 긴 문장 번역 작업에서 상당한 속도 향상을 이룬다.

제안 방법

• 정책 그래디언트 추정에서 k단계 백그라운드를 사용하여 분산을 줄이는 수정된 강화 학습 알고리즘을 기반으로 한 시퀀스 수준 훈련 방법인 Reinforce-NAT를 제안한다.
• 하나의 하위 레이어에서 토큰을 병렬로 처리하여 속도를 높이고, 최상위 레이어에서 시퀀스적 의존성을 고려하여 단어 생성을 안내하는 하이브리드 트랜스포머 디코더인 FS-decoder를 도입한다.
• 문장 수준의 목표 함수인 BLEU, GLEU, TER를 강화 학습 동안 보상 신호로 사용하여 토큰 수준의 정확도가 아닌 유창하고 정확한 문장 생성을 최적화한다.
• 정책 그래디언트 업데이트에 k단계 백그라운드를 적용하여 강화 학습 신호의 분산을 줄이고 훈련을 안정화시킨다.
• 교차 엔트로피와 시퀀스 수준 보상의 조합을 사용하여 NAT 모델을 훈련함으로써 더 나은 일반화 능력과 과도 번역/부족 번역 오류 감소를 달성한다.
• 이전에 생성된 토큰을 참조하는 자기주도 어텐션을 통해 디코더의 최상위 레이어에 시퀀스 정보를 통합함으로써 순차적 디코딩 없이도 맥락 인식 생성이 가능하게 한다.

실험 결과

연구 질문

• RQ1 분산을 줄인 시퀀스 수준 강화 학습은 비자기적 NMT 모델의 훈련 안정성과 성능 향상에 기여하는가?
• RQ2 병렬 디코딩을 유지하면서도 시퀀스 정보를 통합하는 하이브리드 디코더 아키텍처는 자기적 모델 수준의 성능에 도달할 수 있는가?
• RQ3 비자기적 모델이 시퀀스 맥락 부족으로 인해 성능이 떨어지는 긴 문장에서 제안된 방법은 어떤 성능을 보이는가?
• RQ4 FS-decoder를 통한 시퀀스 정보 통합이 과도 번역 및 부족 번역 오류를 크게 줄이는가?
• RQ5 제안된 방법들은 비자기적 모델의 빠른 추론 속도를 유지하면서도 번역 품질 향상을 이룰 수 있는가?

주요 결과

• Reinforce-NAT는 WMT14 En→De 데이터셋에서 BLEU 점수를 3점 이상 향상시켰으며, 특히 NAT-Base 성능이 급격히 떨어지는 긴 문장(40 토큰 초과)에서 두드러진 향상이 있었다.
• IWSLT16 En→De 데이터셋에서는 1.0 BLEU 점수 향상으로 나타나, 이는 뉴스 도메인의 긴 문장에서 더 효과적임을 시사한다.
• FS-decoder는 WMT14 En→De 및 WMT16 En→Ro 작업 모두에서 비자기적 트랜스포머(AR-Base) 수준의 번역 성능를 달성하면서도, 비드림 크기 1일 때도 상당한 속도 향상을 유지한다.
• 사례 연구 결과, NAT-Base는 반복 단어(예: 'more more more')와 핵심 어휘의 누락(예: 'tragic')을 유발하지만, Reinforce-NAT와 FS-decoder는 이와 같은 오류를 크게 줄였다.
• 훈련 곡선 분석 결과, Reinforce-NAT에서 k=5가 안정성과 성능 간 최적의 균형을 이룬 것으로 나타났으며, k=0(높은 분산)과 k=10(추가 향상 없음)보다 우수한 성능을 보였다.
• NAT-Base의 BLEU 점수는 40 토큰을 초과하면 급격히 감소하는 반면, 시퀀스 정보를 통합한 모델들(Reinforce-NAT 및 FS-decoder)은 모든 길이 구간에서 뛰어난 성능 유지를 보였다.