[논문 리뷰] TLDR: Token Loss Dynamic Reweighting for Reducing Repetitive Utterance Generation

Shaojie Jiang, Thomas Wolf외 2명|arXiv (Cornell University)|2020. 03. 26.

Topic Modeling참고 문헌 38인용 수 11

한 줄 요약

이 논문은 인코더-디코더 모델에서 반복적인 텍스트 생성을 줄이기 위해 토큰의 난이도에 따라 학습 손실 가중치를 동적으로 조정하는 TLDR(토큰 손실 동적 재가중)를 제안한다. 어려운 토큰에 대해 기울기를 증폭하고 쉬운 토큰에 대해 기울기를 억제함으로써, RNN 및 트랜스포머 아키텍처 모두에서 Focal Loss와 균일한 가중치와 같은 베이스라인보다 우수한 성능을 보인다. chit-chat 벤치마크에서 검증되었다.

ABSTRACT

Natural Language Generation (NLG) models are prone to generating repetitive utterances. In this work, we study the repetition problem for encoder-decoder models, using both recurrent neural network (RNN) and transformer architectures. To this end, we consider the chit-chat task, where the problem is more prominent than in other tasks that need encoder-decoder architectures. We first study the influence of model architectures. By using pre-attention and highway connections for RNNs, we manage to achieve lower repetition rates. However, this method does not generalize to other models such as transformers. We hypothesize that the deeper reason is that in the training corpora, there are hard tokens that are more difficult for a generative model to learn than others and, once learning has finished, hard tokens are still under-learned, so that repetitive generations are more likely to happen. Based on this hypothesis, we propose token loss dynamic reweighting (TLDR) that applies differentiable weights to individual token losses. By using higher weights for hard tokens and lower weights for easy tokens, NLG models are able to learn individual tokens at different paces. Experiments on chit-chat benchmark datasets show that TLDR is more effective in repetition reduction for both RNN and transformer architectures than baselines using different weighting functions.

연구 동기 및 목표

• 오픈 도메인 대화 작업에서 지속적인 반복적 발화 생성 문제를 해결하기 위해.
• RNN에서의 프리-어텐션 및 하이웨이 연결과 같은 모델 아키텍처 수정이 반복을 줄이는 데 기여하는지 조사하기 위해.
• 훈련 데이터에서 학습이 어려운 토큰이 반복을 유발한다는 가설을 검증하기 위해.
• 아키텍처에 종속되지 않는 더 효과적인 손실 재가중 방법을 개발하여 학습 중 토큰 난이도에 맞게 조정되도록 하기 위해.
• 토큰 학습 난이도에 따라 기울기 업데이트를 동적으로 조정함으로써 생성 품질을 향상시키기 위해.

제안 방법

• 학습 손실이 높은 토큰(학습이 어려운 토큰)에 더 높은 가중치를 할당하는, 미분 가능한 손실 재가중 메커니즘인 TLDR를 제안한다.
• 교차 엔트로피 손실이 높은 토큰에 대해 손실 가중치를 증가시키는 코사인 기반 가중 함수를 사용하여, 훈련 중에 각 토큰의 중요도를 동적으로 조정한다.
• 역전파 동안 이 방법을 적용하여 어려운 토큰에 대한 기울기를 증폭하고 쉬운 토큰에 대한 기울기를 억제함으로써 균형 잡힌 학습을 촉진한다.
• Focal Loss를 영감으로 삼았지만, 예시 수준이 아닌 토큰 수준의 난이도에 맞게 조정된 동적 재가중 전략을 채택한다.
• chit-chat 벤치마크 데이터셋을 사용하여 RNN 및 트랜스포머 기반 인코더-디코더 모델 모두에서 이 방법을 검증한다.
• 표준 교차 엔트로피와 동적으로 토큰 전용 가중치를 결합한 새로운 학습 목표를 도입하여 일반화 성능 향상과 반복 감소를 개선한다.

실험 결과

연구 질문

• RQ1 RNN에서의 프리-어텐션 및 하이웨이 연결과 같은 아키텍처 수정이 chit-chat 모델에서 반복적 생성을 줄이는 데 기여하는가?
• RQ2 반복 문제의 원인이 훈련 데이터에서 학습이 어려운 토큰에 기인하는가? 이는 실증적으로 검증될 수 있는가?
• RQ3 훈련 난이도에 기반한 동적 토큰 수준의 손실 재가중이 정적 또는 예시 수준의 재가중 방법보다 우수한가?
• RQ4 제안된 TLDR 방법은 RNN 및 트랜스포머와 같은 다양한 아키텍처로 일반화 가능한가?
• RQ5 TLDR는 BLEU 및 l-DIMEN과 같은 반복 감소 및 생성 품질 메트릭 모두를 향상시키는가?

주요 결과

• 프리-어텐션 및 하이웨이 연결을 갖춘 RNN은 표준 후-어텐션 RNN보다 반복을 더 효과적으로 줄이지만, 이 개선 효과는 트랜스포머로 일반화되지 않는다.
• Focal Loss를 사용한 실증 검증을 통해 어려운 토큰이 부족하게 학습되며 반복적 생성에 기여한다는 것이 확인되었다.
• TLDR는 RNN 및 트랜스포머 모델 모두에서 반복률을 일관되게 감소시키며, TFL 및 균일한 가중치와 같은 베이스라인을 모두 능가한다.
• 영화 대화 데이터셋에서, Figure 4의 검증 곡선에 따르면 TLDR가 베이스라인보다 훈련 초반에 더 일찍 반복을 감소시켰다.
• 작은 데이터셋에서는 LDR가 제한적이거나 부정적인 영향을 미치지만, TLDR는 모든 데이터셋과 아키텍처에서 일관된 성능 향상을 유지한다.
• TLDR의 동적 기울기 조절은 단순한 균일한 손실 스케일링(예: w=2)보다 효과적이며, 학습률을 균일하게 증가시키지 않고도 어려운 예제에서의 기울기만을 선택적으로 증폭하기 때문이다.