[논문 리뷰] Glancing Transformer for Non-Autoregressive Neural Machine Translation

Lihua Qian, Hao Zhou외 6명|arXiv (Cornell University)|2020. 08. 18.

Natural Language Processing Techniques참고 문헌 32인용 수 20

한 줄 요약

이 논문은 Glancing Language Model (GLM)을 사용하여 단일 통과 병렬 디코딩을 통해 어순 상관관계를 학습하는 비자기적 신경 기계 번역 모델인 Glancing Transformer (GLAT)을 제안한다. 학습 중 참조 단어를 동적으로 샘플링하고, [MASK] 토큰 대신 인코더 표현을 사용함으로써 GLAT는 자기적 Transformer보다 8×–15× 빠른 속도를 달성하면서도 BLEU 격차를 단지 0.25–0.9점으로 줄였다. 다양한 WMT 벤치마크에서 성능을 입증하였다.

ABSTRACT

Recent work on non-autoregressive neural machine translation (NAT) aims at improving the efficiency by parallel decoding without sacrificing the quality. However, existing NAT methods are either inferior to Transformer or require multiple decoding passes, leading to reduced speedup. We propose the Glancing Language Model (GLM), a method to learn word interdependency for single-pass parallel generation models. With GLM, we develop Glancing Transformer (GLAT) for machine translation. With only single-pass parallel decoding, GLAT is able to generate high-quality translation with 8-15 times speedup. Experiments on multiple WMT language directions show that GLAT outperforms all previous single pass non-autoregressive methods, and is nearly comparable to Transformer, reducing the gap to 0.25-0.9 BLEU points.

연구 동기 및 목표

• 자기적 번역 모델과의 성능 격차를 좁히되 추론 속도를 희생하지 않기 위해
• 자기적 생성을 통해 일반적으로 학습되는 어순 상관관계를 병렬 디코딩 중에 포착할 수 있도록 단일 통과 병렬 디코딩을 가능하게 하기 위해
• 문장 조각에서 전체 문장으로 점진적으로 학습 방향을 전환하는 커리큘럼 학습을 모방하는 훈련 전략을 개발하기 위해
• [MASK] 토큰 메커니즘을 더 자연스러운 인코더 표현으로 대체하여 비자기적 모델의 생성 품질을 향상시키기 위해

제안 방법

• 학습 중 두 번의 디코딩 스텝을 수행하는 Glancing Language Model (GLM)을 도입한다: 첫 번째로 표준 NAT 스텝을 통해 난이도 평가를 수행하고, 두 번째로 예측이 어려운 단어를 참조에서 스캔 샘플링하는 스텝을 수행한다.
• 낮은 예측 신뢰도를 가진 단어를 우선순위로 삼는 적응형 스캔 샘플링 전략을 사용하여 조각에서 전체 문장으로 점진적인 학습을 가능하게 한다.
• [MASK] 토큰을 해당 위치의 직접적인 인코더 표현으로 대체하여 맥락 인식 능력을 강화한다.
• 모델을 두 번째 디코딩 스텝에서만 훈련하며, 샘플링되지 않은 단어의 예측을 최적화함으로써 전체 문장 생성의 엔드 투 엔드 학습을 보장한다.
• 실증적으로 신뢰도 기반 전략보다 더 높은 탐색 능력을 통해 어순 상관관계를 효과적으로 탐색할 수 있기 때문에, 스캔 샘플링에 랜덤 단어 선택 전략을 적용한다.
• 모델의 신뢰도가 증가함에 따라 점차 스캔 샘플링 비율을 줄이는 방식으로 커리큘럼 학습 원리를 적용하여 안정적이고 효과적인 단일 통과 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 반복 보정 없이도 단일 통과 비자기적 모델이 자기적 트랜스포머 수준의 성능을 달성할 수 있는가?
• RQ2 학습 중 적응형 스캔 샘플링이 병렬 생성에서 어순 상관관계 모델링을 향상시키는가?
• RQ3 [MASK] 토큰을 인코더 표현으로 대체하면 비자기적 모델의 생성 품질이 향상되는가?
• RQ4 샘플링 전략 선택(랜덤 대비 신뢰도 기반)이 최종 번역 품질에 어떤 영향을 미치는가?
• RQ5 GLAT는 고속 추론을 유지하면서 자기적 모델과의 BLEU 격차를 어느 정도 줄일 수 있는가?

주요 결과

• GLAT는 다양한 WMT 언어 방향에서 자기적 트랜스포머보다 8×–15× 빠른 속도를 달성하면서도 BLEU 격차를 단지 0.25–0.9점으로 줄였다.
• WMT14 DE-EN에서 참조 문장 길이가 20단어 이하일 경우, GLAT는 강력한 Mask-Predict 반복적 방법을 능가하는 성능을 보였다.
• 랜덤 스캔 샘플링 전략이 가장 뛰어난 성능을 보였으며, 기존 NAT보다 5.0 BLEU 포인트 향상되었고, 신뢰도 기반 전략보다 0.3–0.6 포인트 향상되었다.
• [MASK] 토큰을 인코더 표현으로 대체함으로써 성능이 0.2–0.3 BLEU 포인트 향상되었으며, 이는 스캔 샘플링 도입 후에도 여전히 유의미했다.
• 제거 분석 결과, 적응형 스캔 샘플링이 성능 향상의 주요 기여 요소였고, 인코더 표현은 보조적이지만 의미 있는 기여를 하였다.
• GLAT는 WMT14 EN-DE에서 25.21 BLEU, WMT14 DE-EN에서 29.84 BLEU를 기록하여 이전의 모든 단일 통과 비자기적 모델을 능가했다.