[논문 리뷰] Momentum Calibration for Text Generation

Xingxing Zhang, Yiran Liu외 6명|arXiv (Cornell University)|2022. 12. 08.

Topic Modeling인용 수 13

한 줄 요약

MoCa (Momentum Calibration)는 온라인 방법으로, 비어스 서치로 생성된 샘플의 실제 품질과 모델 점수를 모멘텀 이동 평균 생성기로 보정함으로써 텍스트 생성을 향상시킨다. 이는 CNN/DailyMail 및 SAMSum에서 보다 뛰어난 성능을 내며, 최소한의 계산 오버헤드로 SOTA 성능을 달성한다.

ABSTRACT

The input and output of most text generation tasks can be transformed to two sequences of tokens and they can be modeled using sequence-to-sequence learning modeling tools such as Transformers. These models are usually trained by maximizing the likelihood the output text sequence and assumes the input sequence and all gold preceding tokens are given during training, while during inference the model suffers from the exposure bias problem (i.e., it only has access to its previously predicted tokens rather gold tokens during beam search). In this paper, we propose MoCa ({\bf Mo}mentum {\bf Ca}libration) for text generation. MoCa is an online method that dynamically generates slowly evolving (but consistent) samples using a momentum moving average generator with beam search and MoCa learns to align its model scores of these samples with their actual qualities. Experiments on four text generation datasets (i.e., CNN/DailyMail, XSum, SAMSum and Gigaword) show MoCa consistently improves strong pre-trained transformers using vanilla fine-tuning and we achieve the state-of-the-art results on CNN/DailyMail and SAMSum datasets.

연구 동기 및 목표

• 학습 중에 생성된 샘플의 실제 품질과 모델 점수를 일치시킴으로써 텍스트 생성에서의 노출 편향과 손실-평가 불일치 문제를 해결한다.
• 학습(최대우도추정 손실)과 추론(비어스 서치) 사이의 괴리감을 줄이기 위해, 비어스 서치에서의 상대적 샘플 품질과 일치하는 모델 점수를 확보한다.
• 실시간 캘리브레이션을 위한 동적이고 일관된 고품질 샘플을 생성하는 온라인, 미분 가능한 방법을 개발한다.
• 구조적 변경 없이도 사전 학습된 트랜스포머의 성능을 향상시키는 것을 목표로 한다.

제안 방법

• MoCa는 학습 중에 천천히 변화하는 일관된 후보 샘플을 생성하기 위해 모멘텀 이동 평균 생성기를 사용한다.
• 외부 평가 모델(예: ROUGE)을 사용해 샘플 품질을 평가하고, 이를 온라인 모델의 예측 확률과 일치시킨다.
• 순위 손실을 적용하여 더 높은 품질의 샘플에 더 높은 모델 점수를 할당함으로써 비어스 서치 성능을 향상시킨다.
• 장문의 시퀀스에서 위치 정확도 저하를 보정하기 위해 위치 가중치를 적용한 비어스 서치 맞춤 점수 함수를 온라인 모델이 사용한다.
• 모멘텀 업데이트 전략은 생성기의 안정적이고 점진적인 진화를 보장하여 샘플 간 일관성을 유지한다.
• 이 방법은 미분 가능하며 강화학습의 비미분 보상 문제를 피하여 엔드 투 엔드 학습이 가능하다.

실험 결과

연구 질문

• RQ1 온라인 동적 샘플 생성은 비어스 서치에서 모델 점수와 실제 샘플 품질 간의 일치를 향상시킬 수 있는가?
• RQ2 정적 또는 고립된 샘플 생성과 비교해 모멘텀 기반 생성기가 일관성과 성능을 향상시키는가?
• RQ3 미분 가능한 온라인 캘리브레이션 방법은 강화학습과 스케줄링 샘플링을 능가할 수 있는가?
• RQ4 비어스 서치 맞춤 점수 함수에 위치 가중치를 적용하면 장문의 시퀀스 생성 작업에서 성능에 어떤 영향을 미치는가?
• RQ5 MoCa는 바닐라 피니테이닝을 초월해 강력한 사전 학습된 모델을 얼마나 향상시킬 수 있는가?

주요 결과

• MoCa는 CNN/DailyMail(ROUGE-L 45.76) 및 SAMSum(ROUGE-L 50.88)에서 SOTA 성능을 달성하며, 더 큰 모델을 포함한 모든 베이스라인을 능가한다.
• XSum에서 MoCa는 PEGASUS와 BART와 같은 400M 및 568M 파라미터 모델을 능가하지만, 268B 파라미터의 ST-MoE 모델보다도 작다.
• 모든 데이터셋에서 바닐라 피니테이닝을 일관되게 능가하며, CNNDM에서는 ROUGE-L 0.56 향상, SAMSum에서는 ROUGE-L 1.51 향상 달성.
• 제거 실험 결과, 온라인 모멘텀 업데이트가 오프라인 방법보다 성능 향상을 이끌었으며, 특히 모멘텀과 적응형 위치 가중치를 조합했을 때 최고의 성능 기록.
• 위치 정확도 저하가 발생하는 SAMSum에서는 위치 가중치(γt = 1)가 더 우수한 성능을 보였고, CNNDM에서는 일정 가중치가 더 나은 성능을 기록했다.
• 더 작은 모델을 사용함에도 불구하고 BRIO와 SLiC를 능가함으로써, 온라인 캘리브레이션과 비어스 서치 인식 점수 함수의 효과를 입증했다.