[논문 리뷰] Non-Autoregressive Translation with Layer-Wise Prediction and Deep Supervision

Chenyang Huang, Hao Zhou외 3명|arXiv (Cornell University)|2021. 10. 14.

Natural Language Processing Techniques인용 수 23

한 줄 요약

이 논문은 계층별 예측과 깊은 감독을 통해 번역 품질을 향상시키는 비자기적 Transformer 모델인 DSLP를 제안한다. 이는 네 가지 벤치마크 중 세 곳에서 자기적 모델을 뛰어넘는 최신 기술 성능을 달성하면서도 추론 속도를 14.8배 빠르게 한다.

ABSTRACT

How do we perform efficient inference while retaining high translation quality? Existing neural machine translation models, such as Transformer, achieve high performance, but they decode words one by one, which is inefficient. Recent non-autoregressive translation models speed up the inference, but their quality is still inferior. In this work, we propose DSLP, a highly efficient and high-performance model for machine translation. The key insight is to train a non-autoregressive Transformer with Deep Supervision and feed additional Layer-wise Predictions. We conducted extensive experiments on four translation tasks (both directions of WMT'14 EN-DE and WMT'16 EN-RO). Results show that our approach consistently improves the BLEU scores compared with respective base models. Specifically, our best variant outperforms the autoregressive model on three translation tasks, while being 14.8 times more efficient in inference.

연구 동기 및 목표

• 자기적 모델의 성능을 훼손하지 않으면서도 추론 속도를 유지하는 비자기적 모델의 품질-효율성 트레이드오���을 개선한다.
• 모든 토큰을 동시에 생성하기 때문에 순차적 캘리브레이션 기능이 부족해 일관성 없거나 반복적인 출력을 유발하는 표준 비자기적 Transformer의 한계를 극복한다.
• 모든 디코더 계층에서 예측을 도입함으로써 중간 예측이 후속 계층을 보다 정교하게 조정하고 보완할 수 있도록 모델의 캘리브레이션을 향상시킨다.
• 깊은 감독과 혼합 학습을 통해 학습 안정성과 성능을 향상시킨다. 여기서 중간 예측은 일부 지도 데이터인 진짜 타겟 토큰으로 부분적으로 감독된다.
• 다양한 번역 작업에서 다양한 기본 비자기적 모델(기본 NAT, CMLM, GLAT, CTC)에 대해 프레임워크의 일반성과 효과성을 입증한다.

제안 방법

• 모든 디코더 계층이 타겟 시퀀스에 대한 예측을 생성하는 비자기적 Transformer에 계층별 예측을 도입함으로써 네트워크 깊이를 거쳐 점진적인 정교화를 가능하게 한다.
• 각 디코더 계층이 진짜 타겟 시퀀스를 예측하도록 깊은 감독을 적용함으로써 중간 예측이 기반을 두고 의미 있는 결과를 낼 수 있도록 보장한다.
• 학습 중에 진짜 토큰과 계층별 예측을 혼합하는 혼합 학습 전략을 구현하며, 학습 가능한 혼합 비율(0.3으로 설정)을 사용함으로써 학습 안정성과 성능을 향상시킨다.
• 표준 Transformer 아키텍처를 백본으로 사용하며, 중간 예측을 후속 계층으로 전달하고 이를 캘리브레이션에 활용할 수 있도록 수정한다.
• 자기적 교사 모델에서 지식 정렬을 통해 비자기적 학생 모델의 학습을 이끌어내어 정렬 성능을 향상시키고 모드 붕괴를 줄인다.
• BPE 토크나이제이션을 사용하고 WMT’14 EN–DE, WMT’16 EN–RO 및 그 반대 방향에서 평가하여 강건성과 일반화 능력을 점검한다.

실험 결과

연구 질문

• RQ1 계층별 예측과 깊은 감독이 추론 속도를 유지하면서도 비자기적 번역의 품질을 크게 향상시킬 수 있는가?
• RQ2 디코더 계층 전반에 걸쳐 중간 예측을 도입함으로써 의미 있는 캘리브레이션을 가능하게 하고 생성된 시퀀스의 반복성과 일관성 없는 문제를 줄일 수 있는가?
• RQ3 중간 예측을 일부 진짜 타겟 토큰으로 대체하는 혼합 학습 방식이 모델 수렴과 최종 성능에 어떤 영향을 미치는가?
• RQ4 DSLP 프레임워크가 BLEU 점수 측면에서 표준 비자기적 모델뿐 아니라 자기를 교사 모델까지도 능가할 수 있는가? 동시에 높은 추론 효율성을 유지하는가?
• RQ5 제안된 방법이 다양한 기본 비자기적 아키텍처(예: CTC, GLAT, CMLM)와 다양한 번역 방향에서 일반화 가능한가?

주요 결과

• DSLP는 WMT’14 EN–DE, DE–EN, WMT’16 EN–RO, RO–EN의 네 번역 작업 전반에서 일관되게 BLEU 점수를 향상시켰으며, 각각의 기본 모델보다 1 BLEU 이상의 향상을 기록했다.
• 혼합 학습을 사용한 최적의 DSLP 버전(CTC 기반)은 WMT’14 EN–DE에서 BLEU 점수 30.8을 기록했으며, 자기를 교사 모델의 점수 30.7을 초월했다.
• 네 가지 벤치마크 중 세 곳에서 DSLP 모델이 자기를 교사 모델을 능가했으며, 이는 비자기적 모델이 품질 측면에서 자기를 기반 모델을 능가할 수 있음을 보여준다.
• 자기적 교사 모델 대비 추론 속도가 14.8배 빨라졌으며, 높은 품질을 유지했다.
• 어휘 반복 비율이 초기 계층에서 최종 계층으로 갈수록 크게 감소함(예: 최종 계층에서 <15%)하여 깊이 있는 계층을 통해 효과적인 캘리브레이션이 이루어졌음을 확인했다.
• 혼합 비율을 0.3으로 설정할 경우 최적의 성능를 기록했으며, 혼합 비율을 점차 0으로 줄일 경우 최종 성능이 악화됨을 확인하여, 학습 중 일부 진짜 타겟 지도 데이터의 감독이 필수적임을 입증했다.