[논문 리뷰] Dynamic Sentence Sampling for Efficient Training of Neural Machine Translation

Rui Wang, Masao Utiyama외 1명|arXiv (Cornell University)|2018. 05. 01.

Natural Language Processing Techniques참고 문헌 18인용 수 3

한 줄 요약

이 논문은 신경 기계 번역(NMT) 학습을 가속화하기 위해 반복 간 학습 비용의 상대적 변화에 기반해 문장들을 동적으로 재표본화하는 Dynamic Sentence Sampling(DSS) 방법을 제안한다. 높은 향상 잠재력을 지닌 문장들을 우선 처리하고 지식을 유지하기 위한 리뷰 메커니즘을 사용함으로써 잘 학습된 문장들에 대한 부작위적 학습을 줄이며, 더 빠른 수렴과 향상된 BLEU 점수를 달성한다. 500,000개의 학습 배치 이후 기준 모델 대비 최대 2.2점 높은 BLEU 점수를 기록한다.

ABSTRACT

Traditional Neural machine translation (NMT) involves a fixed training procedure where each sentence is sampled once during each epoch. In reality, some sentences are well-learned during the initial few epochs; however, using this approach, the well-learned sentences would continue to be trained along with those sentences that were not well learned for 10-30 epochs, which results in a wastage of time. Here, we propose an efficient method to dynamically sample the sentences in order to accelerate the NMT training. In this approach, a weight is assigned to each sentence based on the measured difference between the training costs of two iterations. Further, in each epoch, a certain percentage of sentences are dynamically sampled according to their weights. Empirical results based on the NIST Chinese-to-English and the WMT English-to-German tasks depict that the proposed method can significantly accelerate the NMT training and improve the NMT performance.

연구 동기 및 목표

• 고정된 에포크 수로 진행되는 NMT 학습의 비효율성을 해결하기 위해, 잘 학습된 문장들이 불필요하게 반복 학습되는 문제를 해결한다.
• 에포크 간 개선 폭이 미미한 문장들을 식별하고 우선순위를 낮춤으로써 학습 시간과 계산 자원 낭비를 줄인다.
• 아직 향상 잠재력이 있는 문장들에 집중함으로써 NMT 성능을 향상시킨다.
• 리뷰 메커니즘을 통해 잘 학습된 문장들에서의 지식을 유지함으로써 치명적인 잊힘(catastrophic forgetting)을 방지한다.
• WMT 및 NIST 벤치마크를 포함한 대규모 및 노이즈가 많은 데이터셋에서 방법의 효과성을 평가한다.

제안 방법

• 이 방법은 두 연속 반복 간 문장 수준의 학습 비용의 상대적 차이를 기반으로 동적 기준을 계산한다: $ dif_{\langle x,y\rangle}^{i} = \frac{cost_{\langle x,y\rangle}^{i-1} - cost_{\langle x,y\rangle}^{i}}{cost_{\langlex,y\rangle}^{i-1}} $.
• 이 차이를 [0,1] 범위로 정규화하여 최종 기준을 형성한다: $ criterion_{\langle x,y\rangle}^{i} = \frac{dif_{\langle x,y\rangle}^{i} - \min(dif^{i})}{\max(dif^{i}) - \min(dif^{i})} $, 이는 향후 개선 가능성의 정도를 나타낸다.
• 각 에포크에서 문장들은 해당 기준 값 비례 확률로 재표본화되며, 높은 잠재력이 있는 문장들을 동적으로 재사용할 수 있다.
• 두 가지 재표본화 전략이 도입된다: 기준 점수에 기반한 가중치 샘플링과 이전에 본 문장들의 일부를 유지함으로써 지식을 보존하는 리뷰 메커니즘.
• 문장들을 영구적으로 제거하지 않음으로써 학습된 지식을 상실할 위험을 줄인다.
• 이 방법은 BLEU 점수와 학습 효율성 지표를 사용해 NIST 중국어-영어 및 WMT 영어-독일어 번역 과제에서 평가된다.

실험 결과

연구 질문

• RQ1 학습 비용 변화에 기반한 동적 문장 재표본화가 성능 저하 없이 NMT 학습을 가속화할 수 있는가?
• RQ2 고정 또는 정적 표본화 기반 베이스라인 대비 동적 재표본화의 수렴 속도와 최종 BLEU 점수에서의 성능은 어떻게 비교되는가?
• RQ3 제안된 방법이 잘 학습된 문장들을 잊는 문제로 인한 성능 저하를 방지하는가?
• RQ4 학습 중에 노이즈가 있거나 정렬이 어긋난 문장 쌍의 영향을 감지하고 줄일 수 있는가?
• RQ5 대규모 및 장기 학습이 필요한 NMT 환경에서 이 방법의 효과성은 어떠한가?

주요 결과

• 제안된 DSS 방법은 NIST ZH-EN 과제에서 약 260,000개의 학습 배치 후 BLEU 점수 38을 달성하여 바닐라 NMT 모델보다 3점 높은 성능을 기록했다.
• NIST ZH-EN 과제에서 DSS는 바닐라 NMT 대비 1.2~2.2점 향상되었고, 최고의 베이스라인 모델 대비 0.9~1.7점 향상되었다.
• 리뷰 메커니즘이 가중치 샘플링보다 뛰어난 성능을 보였으며, 이는 더 나은 지식 보존과 시간에 따른 더 안정적인 성능을 의미한다.
• 1,200만 개의 문장이 포함된 WMT EN-FR 과제에서 DSS는 6 에포크 후 약 0.6점 향상되어 대규모 데이터에서의 효과성을 입증했다.
• NIST ZH-EN 코퍼스에 20%의 노이즈가 있는 정렬 어긋난 데이터를 추가한 후, 한 번의 DSS 사이클 후 노이즈 문장 비율이 13%로 감소했고, 두 번째 사이클 후에는 7%로 감소하여, 노이즈 예제를 감지하고 걸러내는 능력을 입증했다.
• 피크 BLEU 이후 성능 저하를 보인 베이스라인과 달리, DSS 모델은 안정적인 성능을 유지하여 치명적인 잊힘의 위험 감소를 보였다.