[논문 리뷰] Quantifying Exposure Bias for Neural Language Generation

Tianxing He, Jingzhao Zhang외 2명|arXiv (Cornell University)|2019. 09. 25.

Topic Modeling참고 문헌 49인용 수 24

한 줄 요약

이 논문은 신경 언어 생성에서의 노출 편향을 정량화하기 위해 EB-bleu 및 EB-C 메트릭을 제안하며, 자동회귀 언어 모델과 seq2seq 번역 작업에서 LSTM 및 트랜스포머 모델에 대해 그 실제 영향을 평가한다. 놀랍게도, 교육-생성 불일치를 제거함으로써 노출 편향을 완화하면 성능 향상이 거의 없이 끝나며, 이는 모델과 데이터 분포 간의 불일치가 성능 손실이 최소한인 '편안한 영역' 내에 있음을 시사한다.

ABSTRACT

The exposure bias problem refers to the training-generation discrepancy, caused by teacher forcing, in maximum likelihood estimation (MLE) training for auto-regressive neural network language models (LM). It has been regarded as a central problem for neural language generation (NLG) model training. Although a lot of algorithms have been proposed to avoid teacher forcing and therefore` to alleviate exposure bias, there is little work showing how serious the exposure bias problem actually is. In this work, we first identify the self-recovery ability of MLE-trained LM, which casts doubt on the seriousness of exposure bias. We then propose sequence-level (EB-bleu) and word-level (EB-C) metrics as reasonable proxies to quantify the impact of exposure bias. We conduct experiments for the LSTM/transformer model, in both real and synthetic settings. In addition to the unconditional NLG task, we also include results for a seq2seq machine translation task. Surprisingly, all our measurements suggest that removing the training-generation discrepancy only brings very little performance gain. In our analysis, we hypothesise that although there exist a mismatch between the model distribution and the data distribution, the mismatch is still in the model's comfortable zone, and is not big enough to induce significant performance loss.

연구 동기 및 목표

• 최대우도 학습된 신경 언어 모델에서 노출 편향의 실제 심각도를 조사하기 위해.
• 노출 편향 영향을 정량화하기 위한 신뢰할 수 있는 문장 수준 및 단어 수준 메트릭을 개발하기 위해.
• 교육-생성 불일치를 제거함으로써 모델 성능이 유의미하게 향상되는지 평가하기 위해.
• 선생 강제에 의해 유도되는 분포 불일치가 상당한 성능 저하를 유발하는지 분석하기 위해.
• 다양한 아키텍처와 작업에서 MLE 학습된 모델이 노출 편향에 얼마나 강건한지 평가하기 위해.

제안 방법

• 제안된 EB-bleu는 제어된 노출 조건 하에서 계산된 BLEU 점수를 기반으로 한 문장 수준 메트릭으로, 노출 편향 영향을 추정하기 위해 사용된다.
• EB-C는 토큰 수준 예측 신뢰도를 평가하여 모델의 노출 편향에 대한 민감도를 측정하는 단어 수준 메트릭이다.
• 무조건적 언어 모델링 및 seq2seq 번역 작업 모두에서 표준 선생 강제 MLE를 사용해 LSTM 및 트랜스포머 모델을 학습시켰다.
• 노출 편향 영향을 다른 학습 요소들로부터 분리하기 위해 실제 및 합성 데이터 설정에서 실험을 수행했다.
• 자기 복구 분석을 통해 추론 중에 노출 유도 오류에서 모델이 회복할 수 있는지 평가했다.
• 표준 MLE 학습과 노출 편향 제거 기법을 사용한 성능을 비교하여 성능 향상의 정도를 측정했다.

실험 결과

연구 질문

• RQ1 MLE 학습된 신경 언어 모델에서 실질적으로 노출 편향은 얼마나 심각한가?
• RQ2 노출 편향 완화 기법이 언어 생성 작업의 모델 성능을 얼마나 향상시키는가?
• RQ3 선생 강제로 인한 분포 불일치가 모델 생성 품질을 상당히 떨어뜨리는가?
• RQ4 노출 편향으로 인한 성능 손실이 복잡한 완화 전략을 도입할 정도로 충분한가?
• RQ5 제안된 EB-bleu 및 EB-C 메트릭은 다양한 모델 아키텍처에서 노출 편향 영향을 얼마나 잘 포착하는가?

주요 결과

• 제안된 EB-bleu 및 EB-C 메트릭은 실제 및 합성 언어 생성 작업 전반에서 노출 편향 영향을 효과적으로 정량화한다.
• 교육-생성 불일치를 제거함으로써 얻는 성능 향상은 미미하여, 노출 편향이 일반적으로 생각하는 것보다 덜 심각하다는 것을 시사한다.
• MLE로 학습된 모델는 강력한 자기 복구 능력을 보이며, 이는 분포 불일치가 성능 저하가 최소한인 '편안한 영역' 내에 있음을 나타낸다.
• 노출 편향을 극대화하도록 설계된 합성 설정에서도 완화 조치로 인한 성능 향상은 여전히 미미하다.
• 결과는 LSTM 및 트랜스포머 아키텍처를 비롯해 무조건적 생성 및 seq2seq 번역 작업 전반에 걸쳐 동일하게 유지된다.
• 본 연구는 노출 편향이 신경 언어 생성에서 주요 성능 저하 요인임으로서 일반적인 가정을 도전한다.