[논문 리뷰] Straight to the Gradient: Learning to Use Novel Tokens for Neural Text Generation

Xiang Lin, Simeng Han외 1명|arXiv (Cornell University)|2021. 06. 14.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 최대우도추정(MLE)으로 훈련된 신경망 텍스트 생성 모델이 반복적인 토큰을 사용하는 것을 방지하고 새로운, 다양한 토큰을 사용하도록 유도하기 위해 백프로파게이션 중 기울기를 직접 수정하는 훈련 목표인 ScaleGrad를 제안한다. 토큰 빈도에 기반해 기울기를 스케일링하여, 아키텍처 변경 없이 개방형 및 지시형 텍스트 생성 작업 전반에서 생성 품질을 향상시킨다. 인간 평가 및 자동 평가에서 표준 MLE 및 기타 훈련 기반 방법보다 우수한 성능을 보였다.

ABSTRACT

Advanced large-scale neural language models have led to significant success in many language generation tasks. However, the most commonly used training objective, Maximum Likelihood Estimation (MLE), has been shown problematic, where the trained model prefers using dull and repetitive phrases. In this work, we introduce ScaleGrad, a modification straight to the gradient of the loss function, to remedy the degeneration issue of the standard MLE objective. By directly maneuvering the gradient information, ScaleGrad makes the model learn to use novel tokens. Empirical results show the effectiveness of our method not only in open-ended generation, but also in directed generation tasks. With the simplicity in architecture, our method can serve as a general training objective that is applicable to most of the neural text generation tasks.

연구 동기 및 목표

• 최대우도추정(MLE)으로 훈련된 신경망 언어 모델에서 지속적인 반복적이고 지루한 텍스트 생성 문제를 해결하기 위해.
• 학습 신호를 기울기 수준에서 수정하여 희귀하거나 새로운 토큰의 탐색을 유도하는 훈련 기반 솔루션을 개발하기 위해.
• 요약, 대화, 텍스트 이어쓰기 등 다양한 신경 텍스트 생성 작업에 적용 가능한 간단하고 아키텍처 독립적인 방법을 만들기 위해.
• 디코딩 기반 방법(예: nucleus 샘플링)이 달성할 수 있는 것 이상의 생성 품질을 향상시키기 위해, 특히 지시형 생성 시나리오에서 성능을 향상시키기 위해.
• 기울기 업데이트를 직접 수정하는 것이 표준 MLE나 보조 손실 방법보다 더 나은 토큰 수준의 분포를 도출할 수 있음을 입증하기 위해.

제안 방법

• ScaleGrad는 백프로파게이션 중 각 예측 토큰의 빈도에 반비례하게 기울기를 스케일링하여 손실 함수의 기울기를 수정한다.
• 이 방법은 토큰 빈도에 따라 기울기에 가중치를 적용하여 희귀 토큰에는 더 큰 업데이트를, 빈번한 토큰에는 더 작은 업데이트를 제공함으로써 새로운 토큰 탐색을 장려한다.
• 기울기 스케일링은 교차엔트로피 손실에 직접 적용되어 아키텍처 변경 없이 표준 MLE 훈련의 즉각적인 대체제가 된다.
• 스케일링 요소는 훈련 데이터에서의 토큰 빈도를 기반으로 계산되며, 이로써 낮은 빈도의 토큰이 더 강한 기울기 신호를 받게 된다.
• 이 방법은 RNN(LSTM)과 Transformer 모두와 호환되며, 훈련 중 테이처 포싱과도 함께 작동한다.
• 이온도 조절이나 샘플링 기반 디코딩 전략과는 달리, 최적화 과정에서 기본 학습 신호 자체를 수정한다.

실험 결과

연구 질문

• RQ1 기울기 신호를 직접 조작하는 것이 신경 시퀀스 모델에서 생성 텍스트의 다양성과 품질을 향상시킬 수 있는가?
• RQ2 토큰 빈도에 기반해 기울기를 수정하면 개방형 및 지시형 텍스트 생성 작업 전반에서 반복성과 지루함을 줄일 수 있는가?
• RQ3 특히 지시형 생성에서, ScaleGrad는 nucleus 샘플링이나 top-k 샘플링과 같은 디코딩 기반 방법보다 생성 품질에서 뛰어난가?
• RQ4 더 복잡한 보조 손실이나 커버리지 벡터를 사용하는 훈련 기반 방법보다, 단순한 기울기 수준 수정이 더 나은 성능을 낼 수 있는가?
• RQ5 ScaleGrad는 다양한 아키텍처(LSTM, Transformer 등)와 다양한 텍스트 생성 작업 전반에서 효과적인가?

주요 결과

• ScaleGrad는 PTB, IMDB, 요약 작업용 CNN/DM 등 여러 데이터셋에서 반복을 크게 줄이고 어휘의 자연스러움과 다양성을 향상시켰다.
• 인간 평가에서 ScaleGrad가 생성한 텍스트는 MLE 및 Unlikelihood로 훈련된 모델보다 더 다양하고 흥미로운 것으로 평가되었으며, 특히 개방형 생성에서 두드러졌다.
• CNN/DM 요약 데이터셋에서 ScaleGrad는 ROUGE-1 점수 44.3과 ROUGE-L 점수 22.1을 기록하여 MLE 및 기타 훈련 기반 기준 모델을 모두 앞섰다.
• 요약 생성과 같은 지시형 생성 작업에서 ScaleGrad는 nucleus 샘플링 및 top-k 샘플링보다 우수했으며, 특히 샘플링 기반 방법이 고급 품질의 출력을 내지 못한 상황에서 뚜렷한 우월성을 보였다.
• LSTM 및 Transformer 아키텍처 전반에서 ScaleGrad는 일관되게 생성 품질을 향상시켜 광범위한 적용 가능성을 입증했다.
• 제거 실험 결과, 빈도 기반 기울기 스케일링이 핵심 성분임을 확인했으며, 이를 제거하면 성능이 크게 떨어졌다.