[논문 리뷰] Rethinking Exposure Bias In Language Modeling

Yifan Xu, Kening Zhang외 4명|arXiv (Cornell University)|2019. 10. 13.

Topic Modeling참고 문헌 24인용 수 6

한 줄 요약

이 논문은 문장 완성 작업을 활용한 노출 편향 평가의 새로운 범주를 제안하고, 다중 엔트로피 샘플링과 다중 범위 강화를 특징으로 하는 MEMR 프레임워크를 도입하여 적대적 훈련의 안정성을 높인다. 이 방법은 문장 완성 품질과 코퍼스 BLEU 점수 양면에서 최신 기준 성능을 달성하며, 예측되지 않은 프리픽스에 대한 노출 편향 감소와 더불어 강건성 향상을 입증한다.

ABSTRACT

Exposure bias describes the phenomenon that a language model trained under the teacher forcing schema may perform poorly at the inference stage when its predictions are conditioned on its previous predictions unseen from the training corpus. Recently, several generative adversarial networks (GANs) and reinforcement learning (RL) methods have been introduced to alleviate this problem. Nonetheless, a common issue in RL and GANs training is the sparsity of reward signals. In this paper, we adopt two simple strategies, multi-range reinforcing, and multi-entropy sampling, to amplify and denoise the reward signal. Our model produces an improvement over competing models with regards to BLEU scores and road exam, a new metric we designed to measure the robustness against exposure bias in language models.

연구 동기 및 목표

• 신경 언어 모델에서의 노출 편향 측정을 위한 실용적이고 평가 중심의 접근법 수립.
• 텍스트 생성을 위한 적대적 훈련에서의 불안정성과 수렴 불량 문제 해결.
• 지식 기반 입력뿐만 아니라 모델이 생성한 프리픽스에 조건부로 시퀀스를 생성할 때의 모델 강건성 향상.
• 추론 시 분포 이탈에 대한 저항성과 높은 품질의 생성 간의 균형 유지.
• 향상된 적대적 훈련이 동시에 생성 품질 향상과 노출 편향 완화를 이룰 수 있음을 입증함.

제안 방법

• 학습 분포에서의 진짜 프리픽스를 사용한 문장 완성 작업을 제안하여 노출 편향을 평가하고, 프리픽스 길이 증가에 따른 성능 저하를 측정함.
• 다양한 온도 설정(0.5에서 1.5)에서 샘플링을 통해 훈련 시퀀스의 다양성을 높이는 다중 엔트로피 샘플링 도입 — 적대적 훈련 중 탐색 성능 향상.
• 생성자 내 다중 중간 레이어에서 비평가의 감독 신호를 제공함으로써 보다 안정적이고 정보량 많은 보상 신호를 가능하게 하는 다중 범위 강화 도입.
• 생성자를 다섯 개의 목표 값 [0, 0.2, 0.4, 0.6, 0.8]으로 유도하는 비평가 네트워크를 사용하여 다양한 신뢰 수준에서의 안정적인 정책 업데이트 향상.
• 액터-비평가 강화 학습을 표준 LSTM 생성자와 여덟 층의 CNN 판별자와 결합하고, Adam 옵timizer를 사용해 훈련함.
• 생성 품질과 다양성 동시 평가를 위해 세 가지 BLEU 변형 — 정방향(BLEU_F), 역방향(BLEU_B), 조화 평균(BLEU_HA)을 통합 사용함.

실험 결과

연구 질문

• RQ1 통제된 진짜 프리픽스를 사용한 문장 완성 작업을 통해 노출 편향을 효과적으로 측정할 수 있는가?
• RQ2 비평가 네트워크를 사용한 적대적 훈련이 모델이 생성한 프리픽스에서 시퀀스를 생성할 때 모델의 강건성에 어떤 영향을 미치는가?
• RQ3 다중 엔트로피 샘플링과 다중 범위 강화가 신경 언어 모델링에서의 적대적 훈련을 안정화시키는가?
• RQ4 제안된 MEMR 방법이 이전의 티처 포싱 및 GAN 기반 방법에 비해 장기적이고 예측되지 않은 프리픽스에서의 성능 저하를 얼마나 줄이는가?
• RQ5 향상된 적대적 훈련이 문장 완성 지표와 코퍼스 BLEU를 통해 측정된 생성 품질과 다양성 간의 균형을 개선하는가?

주요 결과

• MEMR 모델은 테스트 세트에서 문장 완성 BLEU-F4 점수 27.9 ± 0.07을 기록하여 SeqGAN(21.0 ± 0.11)과 RankGAN(22.3 ± 0.11)을 크게 앞서며, 노출 편향에 대한 뛰어난 강건성을 입증함.
• EMNLP2017 WMT 뉴스 데이터셋에서 MEMR는 코퍼스 BLEU 점수 31.6 ± 0.06을 기록하여 모든 경쟁 모델을 앞서며, LeakGAN(31.6 ± 0.04)과 RankGAN(30.1 ± 0.06)을 초월함.
• MEMR 모델는 프리픽스 길이 증가에 따른 문장 완성 정밀도 감소가 가장 완만했으며, 특히 예측되지 않은 테스트 데이터에서 노출 편향 감소를 확인함.
• 티처 포싱(TF)과 스케줄링 샘플링(SS)으로 훈련된 모델는 짧은 프리픽스에서는 뛰어난 성능을 보였지만, 더 긴 예측되지 않은 프리픽스에서는 급격한 성능 저하를 보이며 높은 노출 편향을 드러냄.
• SeqGAN과 RankGAN과 같은 GAN 기반 모델은 초반 정밀도가 낮았지만, 비평가 감독으로 인해 더 높은 안정성과 느린 감소 추세를 보이며 본질적인 강건성을 입증함.
• MEMR의 조화 평균 BLEU(BLEU_HA) 18.4 ± 0.03은 품질과 다양성 양면에서 균형 잡힌 향상을 나타내며, 모드 붕괴를 방지함.