[논문 리뷰] Characterizing and addressing the issue of oversmoothing in neural autoregressive sequence modeling

Ilia Kulikov, Maksim Eremeev외 1명|arXiv (Cornell University)|2021. 12. 16.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 신경 자동회귀 시퀀스 모델이 너무 짧은 시퀀스(예: 조기 <eos> 토큰)에 더 높은 확률을 할당하는 빈도를 수량화하기 위해 오버스무딩 비율을 도입한다. 학습 중에 사용 가능한 오버스무딩 손실을 제안함으로써 이 오버스무딩을 효과적으로 줄여, 특히 신경 기계 번역 작업에서 대규모 빔 디코딩 시 시퀀스 길이 모델링과 BLEU 점수 향상에 기여한다.

ABSTRACT

Neural autoregressive sequence models smear the probability among many possible sequences including degenerate ones, such as empty or repetitive sequences. In this work, we tackle one specific case where the model assigns a high probability to unreasonably short sequences. We define the oversmoothing rate to quantify this issue. After confirming the high degree of oversmoothing in neural machine translation, we propose to explicitly minimize the oversmoothing rate during training. We conduct a set of experiments to study the effect of the proposed regularization on both model distribution and decoding performance. We use a neural machine translation task as the testbed and consider three different datasets of varying size. Our experiments reveal three major findings. First, we can control the oversmoothing rate of the model by tuning the strength of the regularization. Second, by enhancing the oversmoothing loss contribution, the probability and the rank of token decrease heavily at positions where it is not supposed to be. Third, the proposed regularization impacts the outcome of beam search especially when a large beam is used. The degradation of translation quality (measured in BLEU) with a large beam significantly lessens with lower oversmoothing rate, but the degradation compared to smaller beam sizes remains to exist. From these observations, we conclude that the high degree of oversmoothing is the main reason behind the degenerate case of overly probable short sequences in a neural autoregressive model.

연구 동기 및 목표

• 신경 자동회귀 시퀀스 모델에서 너무 짧은 시퀀스에 과도하게 높은 확률을 할당하는 오버스무딩 문제를 공식적으로 기술하기 위해.
• 기본 참조 시퀀스가 자신의 접두어들보다 확률에서 뒤지게 되는 빈도로 오버스무딩 비율을 정의하고 측정하기 위해.
• 학습 중에 오버스무딩 비율을 직접 최소화할 수 있도록 설계된 미분 가능한 정규화 손실(오버스무딩 손실)을 제안하기 위해.
• 여러 기계 번역 데이터셋에서 이 정규화가 시퀀스 길이 분포, 디코딩 행동, 번역 품질에 미치는 영향을 평가하기 위해.
• 대규모 빔 크기를 사용할 때 번역 품질이 떨어지는 이유를 조사하고, 오버스무딩이 그 근본 원인인지 확인하기 위해.

제안 방법

• 기본 참조 시퀀스의 임의의 접두어가 전체 시퀀스보다 높은 확률을 가질 확률의 평균으로 오버스무딩 비율을 정의한다.
• 오버스무딩 비율의 볼록 근사를 구성하여 기울기 기반 최적화에 적합한 미분 가능한 손실 함수를 만든다.
• 신경 기계 번역 모델의 학습 중 표준 음의 로그우도 목표에 오버스무딩 손실을 통합한다.
• IWSLT’17 및 WMT 번역 작업에서 다양한 정규화 강도(α)를 사용하여 모델을 훈련시켜 오버스무딩을 제어한다.
• 다양한 빔 크기를 사용한 빔 서치 디코딩을 통해 길이 비율과 BLEU 점수에 미치는 영향을 평가한다.
• 디코딩 위치별로 <eos> 토큰의 로그확률과 순위를 분석하여 모델 행동 변화를 연구한다.

Figure 1: Average oversmoothing rate is going down as we increase contribution of the oversmoothing loss during fine-tuning. Filled regions denote the standard deviation across training runs according to section 5 .

실험 결과

연구 질문

• RQ1 잘 훈련된 신경 기계 번역 모델이 조기 <eos> 토큰 생성과 관련하여 높은 오버스무딩 비율을 보이는 정도는 어느 정도인가?
• RQ2 학습 중에 미분 가능한 정규화 손실을 통해 오버스무딩 비율을 효과적으로 제어할 수 있는가?
• RQ3 오버스무딩 비율을 줄이면 대규모 빔 디코딩에서 생성된 시퀀스의 길이 분포에 어떤 영향을 미치는가?
• RQ4 제안된 정규화가 대규모 빔 크기를 사용할 때 번역 품질(BLEU 기준)을 향상시키는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ5 왜 오버스무딩 감소로 인한 성능 향상은 작은 빔 크기에서는 나타나지 않는가, 비록 길이 모델링이 더 나아졌더라도?

주요 결과

• 제안된 정규화 손실의 강도를 높일수록 오버스무딩 비율이 단조적으로 감소함을 확인하여 문제에 대한 효과적인 제어가 가능함을 입증한다.
• 오버스무딩 손실 기여도가 증가함에 따라 조기 위치에서 <eos> 토큰의 확률과 순위가 크게 감소하여 짧은 시퀀스를 선호하는 경향이 줄어듦을 나타낸다.
• 제안된 정규화로 인해 빔 크기가 증가함에 따라 길이 비율이 악화되는 현상이 크게 감소하여 參考 시퀀스에 더 가까운 일관된 길이 분포를 유지한다.
• 낮은 오버스무딩 비율에서 대규모 빔 디코딩을 사용할 경우 번역 품질(BLEU)이 향상되나, 작은 빔 크기에서는 개선이 관찰되지 않는다.
• 정규화가 적용될수록 <eos> 토큰의 로그확률의 다이내믹 레인지가 증가하고, 특히 긴 시퀀스에서 순위가 크게 변화함을 확인하였다.
• 오버스무딩을 줄였음에도 불구하고 대규모와 소규모 빔 크기 간의 성능 격차는 여전히 유지되며, 이는 빔 서치의 비효율성이 여전히 해결되지 않았음을 시사한다.

Figure 2: (a) Log-probabilities of $\left<\mathrm{eos}\right>$ token within length- $t$ prefixes averaged across all positions per translation and then averaged across all translations. (b) Normalized rank of $\left<\mathrm{eos}\right>$ token within length- $t$ prefixes averaged across all positions