[논문 리뷰] Analyzing the Abstractiveness-Factuality Tradeoff With Nonlinear Abstractiveness Constraints.

Markus Dreyer, Mengwen Liu외 3명|arXiv (Cornell University)|2021. 08. 05.

Topic Modeling참고 문헌 40인용 수 9

한 줄 요약

이 논문은 요약 생성 중 개요의 개괄성 수준을 제어하기 위해 비선형 추상적 제약 조건을 도입하여 다양한 데이터셋을 통해 사실성과 추상성 간의 상호 작용을 체계적으로 분석할 수 있도록 한다. 인간 평가 및 모델 훈련을 통해 사실성은 추상성 증가에 따라 다양한 속도로 감소하며, 이러한 상호 작용을 정량화하기 위해 muQAGS와 같은 새로운 지표를 제안함으로써未래 연구를 위한 기준을 설정한다.

ABSTRACT

We analyze the tradeoff between factuality and abstractiveness of summaries. We introduce abstractiveness constraints to control the degree of abstractiveness at decoding time, and we apply this technique to characterize the abstractiveness-factuality tradeoff across multiple widely-studied datasets, using extensive human evaluations. We train a neural summarization model on each dataset and visualize the rates of change in factuality as we gradually increase abstractiveness using our abstractiveness constraints. We observe that, while factuality generally drops with increased abstractiveness, different datasets lead to different rates of factuality decay. We propose new measures to quantify the tradeoff between factuality and abstractiveness, incl. muQAGS, which balances factuality with abstractiveness. We also quantify this tradeoff in previous works, aiming to establish baselines for the abstractiveness-factuality tradeoff that future publications can compare against.

연구 동기 및 목표

• 신경망 텍스트 요약에서 사실성과 추상성 간의 상호 작용을 조사하기 위해.
• 비선형 제약 조건을 사용하여 디코딩 중 추상성 수준을 제어하는 방법을 개발하기 위해.
• 추상성 증가에 따라 다양한 데이터셋에서 사실성 감소 속도를 정량화하기 위해.
• 사실성과 추상성을 균형 잡는 데 초점을 맞춘 새로운 평가 지표를 제안하기 위해, 예를 들어 muQAGS와 같이.
• 미래 연구에서 비교할 수 있도록 추상성-사실성 상호 작용의 기준 측정치를 설정하기 위해.

제안 방법

• 디코딩 중 추상성 수준을 비선형 방식으로 조절할 수 있는 추상적 제약 조건을 도입하기 위해.
• 일관된 평가를 확보하기 위해 여러 널리 사용되는 데이터셋에서 신경망 요약 모델을 훈련시키기 위해.
• 다양한 제약 수준에서 생성된 요약의 사실성과 추상성 수준을 평가하기 위해 인간 평가를 적용하기 위해.
• 제안된 제약 조건를 사용한 제어된 디코딩을 통해 추상성 증가에 따른 사실성 감소 속도를 시각화하기 위해.
• 사실성과 추상성 간의 상호 작용을 정량화하는 데 목적이 있는 새로운 지표 muQAGS를 제안하기 위해.
• 이전 연구에서의 추상성-사실성 상호 작용을 정량화하여 기준 성능 벤치마크를 설정하기 위해.

실험 결과

연구 질문

• RQ1 다양한 요약 데이터셋에서 추상성 증가에 따라 사실성은 어떻게 변화하는가?
• RQ2 추상성이 체계적으로 증가할 때, 다양한 데이터셋에서 사실성 감소 속도는 어떠한가?
• RQ3 모델 및 데이터셋 간에 추상성-사실성 상호 작용을 정량적으로 측정하고 비교할 수 있는가?
• RQ4 기존 모델들은 사실성과 추상성 간에 일관된 상호 작용을 보이는가?
• RQ5 비선형 추상적 제약 조건은 추상성-사실성 스펙트럼의 제어된 세밀한 분석을 가능하게 하는가?

주요 결과

• 사실성은 일반적으로 추상성이 증가함에 따라 감소하지만, 감소 속도는 다양한 데이터셋 간에 크게 다름.
• 제안된 비선형 추상적 제약 조건은 디코딩 중 추상성 수준을 정밀하게 제어할 수 있게 하여 체계적 분석을 가능하게 함.
• 다양한 데이터셋은 추상성 증가에 따라 사실성 감소 패턴이 다름으로써, 데이터셋 별로 상이한 상호 작용 역학을 나타냄.
• 새로운 지표 muQAGS는 사실성과 추상성을 효과적으로 균형 잡고, 상호 작용의 정량적 측정치를 제공함.
• 본 연구는 향후 모델 및 방법을 비교할 수 있도록 추상성-사실성 상호 작용의 기준 측정치를 설정함.
• 인간 평가 결과, 상호 작용이 균일하지 않으며, 데이터셋 특성과 모델 행동에 민감함이 확인됨.