[논문 리뷰] BRIO: Bringing Order to Abstractive Summarization

Yixin Liu, Pengfei Liu외 2명|arXiv (Cornell University)|2022. 03. 31.

Topic Modeling인용 수 4

한 줄 요약

BRIO는 최대우도추정의 결정론적 목표분포를 비결정론적 분포로 대체하는 새로운 학습 프레임워크를 제안한다. 이는 대조학습을 통해 후보 요약의 품질에 따라 확률질량을 할당함으로써, 요약 품질 기반의 비결정론적 목표분포를 도입한다. 이 이중기능 학습 방식은 CNN/DailyMail에서 ROUGE-1 47.78, XSum에서 49.07의 ROUGE 점수를 달성하며, 모델의 캘리브레이션과 요약 품질의 상대적 순위 정확도를 향상시킨다.

ABSTRACT

Abstractive summarization models are commonly trained using maximum likelihood estimation, which assumes a deterministic (one-point) target distribution in which an ideal model will assign all the probability mass to the reference summary. This assumption may lead to performance degradation during inference, where the model needs to compare several system-generated (candidate) summaries that have deviated from the reference summary. To address this problem, we propose a novel training paradigm which assumes a non-deterministic distribution so that different candidate summaries are assigned probability mass according to their quality. Our method achieves a new state-of-the-art result on the CNN/DailyMail (47.78 ROUGE-1) and XSum (49.07 ROUGE-1) datasets. Further analysis also shows that our model can estimate probabilities of candidate summaries that are more correlated with their level of quality.

연구 동기 및 목표

• 최대우도추정의 한계를 해결하기 위해, 기준 요약을 유일한 정답으로 간주하고 후보 요약의 품질을 순위 매기지 못하는 문제를 해결한다.
• 노출편향 영향을 줄이기 위해 추론 시 후보 요약 간 정확한 상대적 비교를 가능하게 하여 모델 성능을 향상시킨다.
• 단일 모델이 요약 생성 모델과 후보 요약에 대한 참조 없는 평가 모델이라는 이중 기능을 수행하도록 훈련한다.
• 모델 예측 확률과 실제 요약 품질 지표(예: ROUGE) 간의 일치도를 향상시킨다.
• 모델 신뢰도를 보다 잘 校정하고 훈련 데이터의 노이즈 패턴에 더 강건한 학습 프레임워크를 개발한다.

제안 방법

• 표준 최대우도추정(MLE) 손실을 비결정론적 목표분포를 모델링하는 대조손실로 대체하여, ROUGE 점수로 측정된 품질에 따라 후보 요약에 확률질량을 할당한다.
• 사전학습된 개괄적 요약 모델(예: BART)을 사용해 각 입력 문서에 대해 다양한 후보 요약을 훈련 중 생성한다.
• 대조학습을 적용하여, ROUGE 점수로 측정된 품질이 높은 후보 요약에 더 높은 확률을 할당하도록 모델을 유도한다.
• 표준 MLE(기준 요약 생성용)와 후보 요약의 상대적 순위 매기기용 대조손실을 동시에 최적화하는 이중 목적을 사용해 모델을 훈련한다.
• 자기회귀적 생성 메커니즘의 수정 없이 대조손실을 훈련 과정에 통합하여 엔드 투 엔드 학습을 가능하게 한다.
• 단지 100 또는 1000개의 예시만을 샘플링하는 소수의 파인튜닝 설정으로도 이 방법을 확장하여, 최소한의 데이터로도 효과를 입증한다.

실험 결과

연구 질문

• RQ1 한 개의 개괄적 요약 모델이 요약 생성과 동시에 후보 요약의 품질 기반 순위 매기기 기능을 동시에 학습시킬 수 있는가?
• RQ2 결정론적 MLE를 비결정론적 분포로 대체하면 요약 품질과 모델 캘리브레이션 향상에 기여하는가?
• RQ3 대조손실이 모델 예측 확률과 실제 후보 요약의 ROUGE 점수 간 일치도에 얼마나 기여하는가?
• RQ4 제안된 방법은 최소한의 훈련 데이터로도 소수의 파인튜닝 환경에서 일반화 가능한가?
• RQ5 모델은 훈련 데이터 내 저품질 또는 노이즈 패턴(예: '클릭 여기' 링크 등)을 필터링하는 데 학습하는가?

주요 결과

• BRIO는 CNN/DailyMail에서 ROUGE-1 47.78을 기록하며 새로운 최고 성능(SOTA)을 달성했다.
• XSum 데이터셋에서는 ROUGE-1 49.07을 기록하여 새로운 SOTA 성능을 수립했다.
• CNNDM에서 상대적 순위 정확도를 79.63%로 향상시켜, BART의 54.80%보다 유의미하게 뛰어났다.
• BRIO-Mul은 요약 내 '클릭 여기'와 같은 노이즈 패턴을 무시하는 능력을 습득했으며, BART는 이를 잘못 학습하고 생성했다.
• 특히 XSum에서 더 나은 캘리브레이션을 보였으며, 신뢰도 그래프 분석 결과 기준 모델 대비 과신 경향이 감소했다.
• 소수의 파인튜닝 환경에서 BRIO-Few는 단지 100 또는 1000개의 훈련 예시로도 CNNDM에서 +1.52 ROUGE-1, XSum에서 +0.49 ROUGE-1의 성능 향상을 달성했다.