[논문 리뷰] Counterfactual Data Augmentation improves Factuality of Abstractive Summarization

Dheeraj Rajagopal, Siamak Shakeri외 3명|arXiv (Cornell University)|2022. 05. 25.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 최대가능도추정(MLE) 목적함수나 모델 아키텍처를 수정하지 않고도 사실성 일관성을 향상시키기 위해 실체 교체(무작위 또는 동일 카테고리) 및 명사 교체(WordNet 상위개념어로)를 통한 요약문 변형을 통해 반사적 데이터 증강 방법을 제안한다. 이 방법은 MLE 목적함수를 변경하지 않고도 E2E NLI 지표에서 사실성에 약 2.5~3점 향상을 이끌어내며, 간단한 데이터 증강을 통해 사실성 정확도를 향상시킨다.

ABSTRACT

Abstractive summarization systems based on pretrained language models often generate coherent but factually inconsistent sentences. In this paper, we present a counterfactual data augmentation approach where we augment data with perturbed summaries that increase the training data diversity. Specifically, we present three augmentation approaches based on replacing (i) entities from other and the same category and (ii) nouns with their corresponding WordNet hypernyms. We show that augmenting the training data with our approach improves the factual correctness of summaries without significantly affecting the ROUGE score. We show that in two commonly used summarization datasets (CNN/Dailymail and XSum), we improve the factual correctness by about 2.5 points on average

연구 동기 및 목표

• 최대가능도추정(MLE)을 통해 훈련되는 추상적 요약 모델에서 지속적인 환각 문제를 해결하기 위해.
• MLE 목적함수나 모델 아키텍처를 수정하지 않고도 생성된 요약문의 사실성 일관성을 향상시키기 위해.
• 반사적 펌프팅을 통한 데이터 증강이 사실성 향상에 기여하면서도 유창성과 ROUGE 성능을 유지할 수 있는지 탐색하기 위해.
• 실체 수준과 명사 수준의 펌프팅이 요약의 사실성 정확도에 미치는 영향을 평가하기 위해.
• 통제된 오류를 통해 훈련 데이터의 다양성을 유도함으로써 모델의 사실성 일관성에 대한 저항력을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 요약문에 제어 코드가 포함된 변환을 적용하여 훈련 데이터를 증강함으로써 반사적 펌프팅을 도입한다.
• 세 가지 증강 전략을 적용한다: 실체를 다른 무작위 실체로 교체하는 방식(ER), 동일 카테고리의 실체로 교체하는 방식(Cat-ER), 명사를 그들의 WordNet 상위개념어로 교체하는 방식(WN-Hyper).
• 원본 및 변환된 입력-요약 쌍에 대해 복합 교차엔트로피 손실을 최적화하여 증강 샘플을 훈련에 통합한다: $\mathcal{L}_{S} = \frac{1}{M}\sum_{j=1}^{M} \left( \mathcal{L}_{CE}(\mathbf{x}_j,\mathbf{y}_j) + \mathcal{L}_{CE}(\tilde{\mathbf{x}}_j,\tilde{\mathbf{y}}_j) \right)$.
• 기본 모델로 T5-LARGE를 사용하고, CNN/DailyMail 및 XSum 데이터셋에서 동일한 훈련 스텝 수와 5개의 랜덤 시드를 사용하여 공정한 비교를 수행한다.
• 데이터 품질을 확보하기 위해 노이즈가 많은 문장을 제거하고 요약문 내의 OOV(외부어) 실체를 걸러내는 전처리를 수행한다.
• 제어 코드를 적용하여 변환을 안내함으로써, 모델이 펌프팅에 대해 저항력 있고 사실 기반 요약을 생성하도록 유도한다.

실험 결과

연구 질문

• RQ1 MLE 목적함수를 수정하지 않고도 반사적 데이터 증강이 추상적 요약의 사실성 일관성을 향상시킬 수 있는가?
• RQ2 무작위 또는 카테고리 기반 실체 교체를 통해 펌프팅을 도입하면 모델의 사실 오류에 대한 저항력이 향상되는가?
• RQ3 명사를 그들의 WordNet 상위개념어로 교체하는 것이 사실성 향상에 얼마나 기여하며, ROUGE 점수는 유지되는가?
• RQ4 요약의 개요 수준과 사실성 정확도 사이의 상관관계는 어떻게 되며, 데이터 증강이 이 상호 간의 상충관계를 완화할 수 있는가?
• RQ5 데이터 증강만으로도 사실성 향상이 가능한가, 아니면 아키텍처 수정이나 추가 손실 구성 요소가 필수적인가?

주요 결과

• 제안된 데이터 증강 방법은 E2E NLI 지표를 사용해 CNN/DailyMail 데이터셋에서 평균 약 3점의 사실성 정확도 향상을 기록했다.
• XSum 데이터셋에서는 사실성 정확도가 2점 향상되었으며, WN-Hyper 전략이 E2E NLI에서 가장 높은 +3.2점의 향상을 기록했다.
• 모든 증강 전략에서 ROUGE 점수는 거의 동일하게 유지되었으며, 미세한 변동(예: CNN/DailyMail에서 ΔROUGE-L -1.5)만 관찰되어 유창성과 커버리지가 유지됨을 시사한다.
• 증강 데이터로 훈련된 모델는 더 구체적인 요약을 생성하여 입력에서 더 많은 명시적 실체와 세부 정보를 포함했다.
• 약 9%의 경우에서 사실적으로 정확한 요약문이 원본 모델보다 ROUGE 점수는 낮았는데, 이는 높은 개요 수준이 ROUGE 점수를 낮출 수 있지만 사실성 정확도는 향상시킬 수 있음을 시사한다.
• 결과적으로 데이터 증강만으로도 사실성 향상이 상당히 가능하며, 아키텍처 수정이나 추가 손실 구성 요소 없이도 효과를 얻을 수 있다.