[논문 리뷰] Latent-Variable Non-Autoregressive Neural Machine Translation with Deterministic Inference Using a Delta Posterior

Raphael Shu, Jason Lee외 2명|arXiv (Cornell University)|2019. 08. 20.

Natural Language Processing Techniques참고 문헌 33인용 수 12

한 줄 요약

이 논문은 연속 잠재 변수와 델타 사후분포를 통한 결정론적 추론을 사용하여 빠른 병렬 디코딩을 가능하게 하는 비자기적 신경 기계 번역 모델인 LaNMT을 제안한다. 입력에 따라 잠재 변수를 반복적으로 개선하여 번역 품질을 향상시키고 시퀀스 길이를 동적으로 조정함으로써, ASPEC Ja-En에서 자기적 모델 대비 8.6배 빠른 디코딩을 달성하고, WMT’14 En-De에서 6.8배의 속도 향상으로 BLEU 격차를 단지 1.0점으로 줄였다.

ABSTRACT

Although neural machine translation models reached high translation quality, the autoregressive nature makes inference difficult to parallelize and leads to high translation latency. Inspired by recent refinement-based approaches, we propose LaNMT, a latent-variable non-autoregressive model with continuous latent variables and deterministic inference procedure. In contrast to existing approaches, we use a deterministic inference algorithm to find the target sequence that maximizes the lowerbound to the log-probability. During inference, the length of translation automatically adapts itself. Our experiments show that the lowerbound can be greatly increased by running the inference algorithm, resulting in significantly improved translation quality. Our proposed model closes the performance gap between non-autoregressive and autoregressive approaches on ASPEC Ja-En dataset with 8.6x faster decoding. On WMT'14 En-De dataset, our model narrows the gap with autoregressive baseline to 2.0 BLEU points with 12.5x speedup. By decoding multiple initial latent variables in parallel and rescore using a teacher model, the proposed model further brings the gap down to 1.0 BLEU point on WMT'14 En-De task with 6.8x speedup.

연구 동기 및 목표

• 순차적 토큰 생성으로 인해 발생하는 고급 추론 지연을 해결하기 위해 자기적 NMT 모델의 문제를 해결한다.
• 기존 비자기적 NMT 모델이 목표 길이를 고정하고 어순 및 일관성 문제를 겪는 한계를 극복한다.
• 디코딩 속도를 희생시키지 않고 연속 잠재 변수를 도입하여 비자기적 모델의 번역 품질을 향상시킨다.
• 스토케스티시티를 피하고 효율적이고 확장 가능한 디코딩을 가능하게 하는 결정론적 추론 절차를 개발한다.
• 잠재 변수의 반복적 개선과 교사 모델 재평가를 통해 비자기적 및 자기적 NMT 모델 간의 성능 격차를 줄인다.

제안 방법

• 입력 토큰 하나당 하나의 연속 잠재 변수 시퀀스를 도입하여 목표 시퀀스의 불확실성을 모델링한다.
• 길이 변환 메커니즘을 사용하여 잠재 벡터의 수를 목표 시퀀스 길이에 맞게 동적으로 조정한다.
• 로그 가능도 log p(y|x)의 기대하한 하한(ELBO)을 최대화함으로써 모델을 엔드 투 엔드로 훈련시킨다.
• 델타 사후분포를 기반으로 하는 결정론적 반복적 추론 알고리즘을 제안하여 잠재 변수 사후분포를 갱신하고 목표 토큰을 개선한다.
• 잠재 변수 사후분포를 전제분포 p(z|x)에서 초기화하고, 목표를 p(y|x,z)에서 초기화한 후, 근사 사후분포 q(z|x,y)를 사용해 둘 다를 개선한다.
• 다수의 초기 잠재 변수를 샘플링하고 자동회귀적 교사 모델을 사용해 재평가함으로써 병렬 디코딩을 가능하게 한다.

실험 결과

연구 질문

• RQ1 연속 잠재 변수는 동적 길이 조정과 더 나은 시퀀스 모델링을 가능하게 하여 비자기적 NMT의 성능을 향상시킬 수 있는가?
• RQ2 델타 사후분포를 기반으로 하는 결정론적 추론 알고리즘은 스토케스틱 샘플링 없이도 높은 번역 품질을 달성할 수 있는가?
• RQ3 잠재 변수의 반복적 개선은 번역 품질 향상과 로그 가능도의 기대하한 하한에 상당한 기여를 하는가?
• RQ4 잠재 변수의 개선과 교사 모델 재평가를 통해 비자기적 및 자기적 NMT 모델 간의 성능 격차를 줄일 수 있는가?
• RQ5 이 방법을 통해 얼마나 높은 디코딩 속도 향상을 이룰 수 있으며, 경쟁 가능한 BLEU 점수를 유지할 수 있는가?

주요 결과

• 제안된 결정론적 추론 알고리즘이 기대하한 하한과 번역 품질을 크게 향상시켰으며, BLEU 점수는 단 한 번의 개선 단계만으로 수렴한다.
• ASPEC Ja-En 데이터셋에서 LaNMT는 자동회귀 기반 모델 대비 8.6배 더 빠른 디코딩 속도를 달성하면서 동일한 성능을 유지한다.
• WMT’14 En-De 데이터셋에서 이 알고리즘만으로도 12.5배의 속도 향상과 함께 자동회귀 기반 모델과의 BLEU 격차를 2.0점으로 줄였다.
• 다수의 초기 잠재 변수를 디코딩하고 교사 모델을 사용해 재평가함으로써, WMT’14 En-De에서 BLEU 격차는 1.0점으로 줄었고, 속도는 6.8배 향상되었다.
• 정성적 분석 결과, 모델이 개선 과정에서 잘못된 초기 길이 예측을 동적으로 수정하여 단어 삽입 또는 제거를 수행할 수 있음을 확인했다.
• 예시를 통해 전체 절을 삽입하거나 재정렬하는 복잡한 어순 조정도 성공적으로 처리하는 것으로 나타났다.