[논문 리뷰] Semi-Autoregressive Training Improves Mask-Predict Decoding

Marjan Ghazvininejad, Omer Levy외 1명|arXiv (Cornell University)|2020. 01. 23.

Topic Modeling참고 문헌 15인용 수 48

한 줄 요약

SMART 학습은 조건부 마스크드 언어 모델의 mask-predict 디코딩을 개선하여 autoregressive 모델과의 격차를 대부분 줄이고 번역 품질을 높인다.

ABSTRACT

The recently proposed mask-predict decoding algorithm has narrowed the performance gap between semi-autoregressive machine translation models and the traditional left-to-right approach. We introduce a new training method for conditional masked language models, SMART, which mimics the semi-autoregressive behavior of mask-predict, producing training examples that contain model predictions as part of their inputs. Models trained with SMART produce higher-quality translations when using mask-predict decoding, effectively closing the remaining performance gap with fully autoregressive models.

연구 동기 및 목표

• 학습과 반자동회귀(mask-predict) 디코딩 간의 불일점을 동기화하고 해결한다.
• 훈련 중 예측 기반 입력을 더 잘 반영하도록 SMART 학습을 제안한다.
• 표준 MT 벤치마크에서 SMART를 평가하고 NART 및 자동회귀 기준선과 비교한다.
• 학습 선택(예: 모든 토큰 예측, 순전파 횟수 등)이 성능과 강인성에 미치는 영향을 분석한다.

제안 방법

• 골드 타깃 시퀀스로 시작하고 무작위 부분집합을 마스킹하여 Y_gold를 만든다.
• 부분적으로 관찰된 Y_gold_obs로부터 전체 시퀀스를 예측하여 Y_pred를 얻는다.
• Y_pred에서 새로운 무작위 부분집합을 마스킹하여 학습 입력 Y_pred_obs를 만들고 골드 Y_gold를 예측하도록 학습한다.
• 관찰된 예측에서의 실수를 수정할 수 있도록 모든 토큰에 대해 교차 엔트로피 손실로 학습한다.
• 강건성 강화를 위해 mask-predict 예측 단계를 선택적으로 모든 토큰(마스킹된 토큰뿐만 아니라)을 예측하도록 수정한다.

실험 결과

연구 질문

• RQ1 SMART 학습이 mask-predict 디코딩을 사용할 때 번역 품질을 향상시키는가? (원래 NART 학습과 비교)
• RQ2 표준 MT 벤치마크에서 SMART로 학습된 모델이 완전한 자동회귀 기준선에 얼마나 근접하는가?
• RQ3 학습의 가변성(예: 모든 토큰 예측 대 마스킹된 토큰, 순전파 횟수)이 성능에 어떤 영향을 미치는가?
• RQ4 mask-predict에서 언어쌍 및 디코딩 반복(T) 간 SMART의 성능은 어떻게 나타나는가?
• RQ5 학습 샘플의 난이도(골드 마스킹 비율)가 학습에 미치는 영향은 무엇인가?

주요 결과

• SMART는 벤치마크 전반에서 NART보다 BLEU가 더 높으며 평균 +0.71 BLEU이다.
• 10개의 디코딩 반복에서 SMART는 WMT’14 EN-DE에서 27.65 BLEU에 도달하여 강한 자동회귀 기준선의 27.75 BLEU에 근접하다.
• mask-predict로 10 반복의 SMART는 WMT’17에서 31.27 (DE-EN) 및 34.06 (EN-ZH)를 달성하여 자동회귀 성능에 근접하다.
• 4회 반복에서 예측 단계에서 모든 토큰을 예측하도록 SMART로 학습하면 개발 세트에서 약 0.40 BLEU 이득을 제공한다.
• 반복 수를 늘리면 일반적으로 자동회귀 모델과의 격차가 좁혀지며 일부 벤치마크에서 동일하거나 거의 동일한 성능을 보인다.