[논문 리뷰] Improved Natural Language Generation via Loss Truncation

Daniel Kang, Tatsunori Hashimoto|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 49인용 수 8

한 줄 요약

이 논문은 자연어 생성의 정확성과 사실적 정확성을 높이기 위해 훈련 중에 높은 로그 손실을 보이는 예제를 적응적으로 제거함으로써 구분 가능성(distinguishability)을 최적화하는 강건한 훈련 방법인 손실 절단(loss truncation)을 제안한다. 이는 요약 작업에서 표준 로그 손실 기반 모델 대비 구분 가능성과 사실적 정확성 측면에서 뛰어난 성능을 보인다.

ABSTRACT

Neural language models are usually trained to match the distributional properties of a large-scale corpus by minimizing the log loss. While straightforward to optimize, this approach forces the model to reproduce all variations in the dataset, including noisy and invalid references (e.g., misannotation and hallucinated facts). Worse, the commonly used log loss is overly sensitive to such phenomena and even a small fraction of noisy data can degrade performance. In this work, we show that the distinguishability of the models and reference serves as a principled and robust alternative for handling invalid references. To optimize distinguishability, we propose loss truncation, which adaptively removes high loss examples during training. We show this is as easy to optimize as log loss and tightly bounds distinguishability under noise. Empirically, we demonstrate that loss truncation outperforms existing baselines on distinguishability on a summarization task, and show that samples generated by the loss truncation model have factual accuracy ratings that exceed those of baselines and match human references.

연구 동기 및 목표

• 훈련 데이터에 노이즈 또는 잘못된 참조가 존재할 경우 표준 로그 손실 훈련이 신경망 언어 모델에서 취약해지는 문제를 해결하기 위해.
• 모델의 강건성과 생성 품질을 향상시키기 위한 확장성 있고 효율적인 로그 손실의 대안을 개발하기 위해.
• 모델가 생성한 텍스트와 인간 참조 텍스트 간의 구분 가능성을 최적화하여 보다 고품질의 출력을 보장하기 위해.
• 특수 작업에 맞는 손실 수정 없이도 손실 절단이 개괄적 요약에서 더 뛰어난 사실 일관성을 달성할 수 있음을 입증하기 위해.

제안 방법

• 손실 절단은 표준 로그 손실을 수정하여 훈련 중에 높은 로그 손실을 보이는 예제를 적응적으로 제거함으로써 노이즈 또는 잘못된 참조를 효과적으로 걸러낸다.
• 이 방법은 배치 내 로그 손실 값의 분포에 기반해 동적으로 조정되는 절단 임계값을 사용한다.
• 구분 가능성에 상한선을 제공하여 모델의 출력이 점점 인간 참조와 구분하기 어려워지도록 보장한다.
• 고확률 시퀀스로만 생성을 제한함으로써 출력 품질을 추가로 향상시키기 위해 시퀀스 수준의 기각 샘플링 기법을 도입한다.
• 기존 디코딩 전략(예: 빔 서치, top-k, top-p)과 호환되며, 기존 디코더와 조합할 수 있다.
• 계산적으로 효율적이고 확장 가능하여 대규모 언어 모델링에 적합하다.

실험 결과

연구 질문

• RQ1 수정된 훈련 목표가 훈련 데이터의 노이즈 또는 잘못된 참조에 대해 신경망 언어 모델의 강건성을 향상시킬 수 있는가?
• RQ2 로그 손실이 아닌 구분 가능성 최적화가 더 고품질이고 더 충실한 텍스트 생성을 이끌 수 있는가?
• RQ3 로그 손실에 대한 단순하고 확장 가능한 수정이 체계적인 구분 가능성 최적화 성능에 비견될 수 있는가?
• RQ4 손실 절단이 표준 로그 손실 기반 모델 대비 개괄적 요약에서 사실적 정확성을 향상시키는가?

주요 결과

• 손실 절단은 인간 참조와의 구분 가능성에 대한 측정 지표인 HUSE 점수에서 표준 로그 손실 기반 모델(비트 서치, top-k, top-p, 전체 샘플링 포함)을 크게 능가한다.
• 손실 절단으로 훈련된 모델는 요약 작업에서 모든 기준 모델을 초월하며 인간 참조 수준의 사실적 정확성을 달성한다.
• 손실 절단과 함께 기각 샘플링을 적용하면 출력 품질이 더욱 향상되어 비트 서치를 초월하는 사실 일관성을 확보한다.
• 이 방법은 노이즈가 있는 참조에 대해 강건하며, 환상적이거나 잘못 표기된 훈련 예제의 영향을 줄인다.
• 손실 절단은 GAN 기반의 구분 가능성 최적화와 비교해 실용적이고 확장 가능한 대안을 제공하며, 텍스트 생성에서 학습이 어려운 점을 보완한다.