[논문 리뷰] Explaining Sequence-Level Knowledge Distillation as Data-Augmentation for Neural Machine Translation

Mitchell A. Gordon, Kevin Duh|arXiv (Cornell University)|2019. 12. 06.

Natural Language Processing Techniques참고 문헌 9인용 수 22

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 시퀀스 수준 지식 정복(SLKD)을 노이즈가 많은 데이터를 단순화하는 방법으로 보는 것이 아니라, 교사 모델이 학습한 다양체(manifold)와 일치시켜 작은 학생 모델을 암묵적으로 정규화하는 데이터 증강의 한 형태로 재해석한다. 저자들은 SLKD가 드롭아웃을 요구하지 않음에도 불구하고 일반화 성능을 향상시켜 TED Talks에서 BLEU 점수를 0.7–1.2 포인트 향상시킨다는 것을 입증하며, SLKD를 백트랜슬레이션 또는 베이즈 서치 출력과 조합할 경우 성능 향상이 더욱 뚜렷하다는 것을 보여준다.

ABSTRACT

Sequence-level knowledge distillation (SLKD) is a model compression technique that leverages large, accurate teacher models to train smaller, under-parameterized student models. Why does pre-processing MT data with SLKD help us train smaller models? We test the common hypothesis that SLKD addresses a capacity deficiency in students by "simplifying" noisy data points and find it unlikely in our case. Models trained on concatenations of original and "simplified" datasets generalize just as well as baseline SLKD. We then propose an alternative hypothesis under the lens of data augmentation and regularization. We try various augmentation strategies and observe that dropout regularization can become unnecessary. Our methods achieve BLEU gains of 0.7-1.2 on TED Talks.

연구 동기 및 목표

• 작은 신경 기계 번역(NMT) 모델에서 시퀀스 수준 지식 정복(SLKD)이 성능을 향상시키는 이유를 조사하기 위해.
• SLKD가 작은 모델의 용량 제한으로 인해 노이즈가 많은 훈련 데이터를 단순화함으로써 작용한다는 가설을 테스트하기 위해.
• SLKD가 용량 보정이 아니라 데이터 증강 및 암묵적 정규화의 형태로 작용하는가를 탐색하기 위해.
• SLKD가 작은 모델에서 드롭아웃과 같은 명시적 정규화 기법을 대체할 수 있는가를 평가하기 위해.
• 백트랜슬레이션 또는 다수의 베이즈 서치 출력과 같은 다른 데이터 증강 전략과 함께 SLKD를 사용할 경우의 일반화 이점을 평가하기 위해.

제안 방법

• 저자들은 TED 독일-영어 데이터셋에서 큰 교사 모델을 훈련시키고, 훈련 데이터에 대해 베이즈 서치를 사용하여 번역을 생성한다.
• 원본 데이터와 교사 모델의 번역을 조합하여 'KD' 데이터로 구성된 증강된 훈련 데이터셋을 만든다.
• 추가적인 데이터 증강 전략으로는 KD 데이터를 백트랜슬레이션 출력과 조합하는 것('base+kd+bt')과 상위 두 개의 베이즈 서치 출력을 사용하는 것('base+best-2')이 포함된다.
• 이러한 증강된 데이터셋을 기반으로 작은 학생 모델과 큰 학생 모델을 훈련시키고, BLEU 점수와 훈련 퍼플렉서티를 사용하여 성능을 비교한다.
• 드롭아웃 정규화를 제거하여 SLKD가 작은 모델에서 명시적 정규화 기법을 대체할 수 있는지 테스트한다.
• 수렴 곡선을 분석하고 다수의 랜덤 시드를 통해 결과를 검증하여 결과의 견고성을 확보한다.

실험 결과

연구 질문

• RQ1 SLKD가 작은 NMT 모델의 성능 향상에 기여하는 이유가 모델 용량 제한으로 인해 노이즈가 많은 데이터 포인트를 단순화하기 때문인가?
• RQ2 SLKD는 훈련 분포를 정규화하는 데이터 증강의 한 형태로 해석될 수 있는가?
• RQ3 SLKD는 작은 학생 모델에서 드롭아웃과 같은 명시적 정규화 기법의 필요성을 줄일 수 있는가?
• RQ4 백트랜슬레이션 또는 다수의 베이즈 서치 출력과 같은 다양한 데이터 증강 전략이 SLKD와 어떻게 상호작용하는가?
• RQ5 SLKD의 성능 향상 요인이 명시적 데이터 단순화가 아니라 교사가 학습한 다양체를 따라 암묵적 정규화를 제공하기 때문인가?

주요 결과

• 노이즈가 많은 데이터 포인트를 단순화함으로써 성능 향상이 이루어진다는 가설은 불가능해 보이며, 원본 데이터와 KD 데이터를 결합하여 훈련한 모델가 SLKD 전용 데이터로 훈련한 모델와 동일한 일반화 성능을 보였다.
• SLKD는 작은 모델이 교사가 학습한 다양체 쪽으로 유도함으로써 암묵적 정규화 역할을 하며, 모델 용량 제한 없이 일반화 성능을 향상시킨다.
• 드롭아웃을 제거한 경우, 베이스라인과 SLKD 모델 간의 성능 격차가 커지며, 이는 SLKD가 드롭아웃의 정규화 기능을 대체할 수 있음을 시사한다.
• SLKD를 백트랜슬레이션 또는 상위 두 개의 베이즈 서치 출력과 조합하면 BLEU 점수 향상이 점진적으로 이루어지며, 가장 좋은 결과로 큰 학생 모델에서 32.99 BLEU에 도달했다.
• 증강된 데이터셋은 베이스라인보다 빠르게 수렴하며, 더 긴 훈련 기간이 필요하지 않아 SLKD가 데이터 효율성을 향상시킨다는 것을 시사한다.
• 결과는 작은 학생 모델뿐 아니라 큰 학생 모델에서도 동일하게 성립하여, SLKD의 정규화 효과가 모델 용량이 제한되지 않은 경우에도 효과적이라는 것을 보여준다.