[논문 리뷰] Subjective Bias in Abstractive Summarization

Lei Li, Wei Liu외 5명|arXiv (Cornell University)|2021. 06. 18.

Topic Modeling참고 문헌 22인용 수 4

한 줄 요약

이 논문은 그래프 기반 스타일 임베딩을 활용한 그래프 컬러네이션 네트워크(GCN)를 통해 개재 요약 데이터셋에서 주관적인 글쓰기 스타일을 식별하고 군집화하는 방법을 제안한다. CNN-DM에서의 실험 결과, 단일 스타일 군집으로 훈련할 경우 모델 수렴, 추상화 능력 및 일반화 능력 향상이 가능하며, 특히 특정 스타일에 대해 뚜렷한 성능 향상이 관찰된다. 반면 모든 스타일을 혼합하여 훈련할 경우 성능 저하가 발생하여, 다양한 참조 요약문이 항상 훈련에 유리하다는 가정을 도전한다.

ABSTRACT

Due to the subjectivity of the summarization, it is a good practice to have more than one gold summary for each training document. However, many modern large-scale abstractive summarization datasets have only one-to-one samples written by different human with different styles. The impact of this phenomenon is understudied. We formulate the differences among possible multiple expressions summarizing the same content as subjective bias and examine the role of this bias in the context of abstractive summarization. In this paper a lightweight and effective method to extract the feature embeddings of subjective styles is proposed. Results of summarization models trained on style-clustered datasets show that there are certain types of styles that lead to better convergence, abstraction and generalization. The reproducible code and generated summaries are available online.

연구 동기 및 목표

• 참조 요약문의 주관적 글쓰기 스타일 변동이 개재 요약 모델 성능에 미치는 영향을 조사하는 것.
• 인간 애너테이션된 요약문에서 주관적 글쓰기 스타일을 추출하고 군집화하는 방법을 제안하는 것.
• 단일 스타일 군집 데이터셋으로 훈련할 경우 혼합 스타일 데이터셋으로 훈련하는 것보다 수렴, 추상화 능력 및 일반화 능력이 향상되는지 평가하는 것.
• 다양한 참조 요약문이 항상 모델 성능 향상에 기여한다는 공통 가정을 도전하는 것.

제안 방법

• 원본 기사(오라클)에서 요약문으로의 문법적 변환을 캡처하기 위해 요약문의 문법적 구조를 그래프 구조로 표현하는 것.
• 이 문법적 그래프에서 주관적 스타일 임베딩을 학습하기 위해 자기지도 학습 기반 그래프 컬러네이션 네트워크(GCN)를 사용하는 것.
• 학습된 스타일 임베딩을 기반으로 데이터셋을 군집화하여 스타일별 훈련 세트를 구성하는 것.
• 각 스타일 군집 데이터셋으로 T5-small을 피지테이닝하고, 전체 혼합 스타일 데이터셋으로 훈련한 베이스라인 모델과 성능을 비교하는 것.
• 가장 가까운 중심점 기반으로 테스트 샘플을 군집에 분류하여 스타일별 모델 일반화 능력을 평가하는 것.
• ROUGE, BERTScore 및 기타 지표를 사용해 추상화 능력, 어휘 유창성 및 사실 일관성 등을 평가하는 결과를 보고하는 것.

실험 결과

연구 질문

• RQ1 참조 요약문 간 주관적 글쓰기 스타일의 변동이 개재 요약 모델 성능에 어떤 영향을 미치는가?
• RQ2 그래프 기반 자기지도 학습 GCN 접근법을 통해 주관적 스타일을 효과적으로 추출하고 임베딩할 수 있는가?
• RQ3 혼합 스타일 데이터셋 대비 단일 균일 스타일로 훈련할 경우 더 나은 수렴 및 일반화 성능를 달성할 수 있는가?
• RQ4 ROUGE 점수 및 추상화 품질 측면에서 특정 주관적 스타일이 항상 다른 스타일보다 뛰어나게 성능을 내는가?
• RQ5 모든 스타일을 하나의 데이터셋에 혼합하는 것이 실제로 최적의 모델 성능을 이끌어내는가, 아니면 성능 저하를 유발하는 노이즈를 도입하는가?

주요 결과

• 단일 균일 스타일(예: Cluster_1)로 훈련할 경우 혼합 스타일 전체 데이터셋으로 훈련하는 것보다 더 나은 수렴과 높은 ROUGE 점수를 기록한다.
• Cluster_1로 훈련한 모델은 ROUGE-1(40.2)과 ROUGE-2(17.3) 점수에서 가장 높은 성능을 기록했으며, 베이스라인 및 전체 데이터셋 피지테이닝 모델을 모두 초월했다.
• 전체 데이터셋 피지테이닝 모델은 가장 느린 수렴 속도와 가장 열악한 성능을 보였으며, ROUGE-2 F1 점수는 단지 16.1에 머물러 혼합 스타일이 학습을 방해할 수 있음을 시사한다.
• 피지테이닝이 없는 모델이 피지테이닝된 전체 데이터셋 모델보다 요약 관련 지표에서 뛰어난 성능을 보였으며, 이는 피지테이닝이 복사-붙여넣기 성향을 유도해 추상화 능력을 떨어뜨릴 수 있음을 시사한다.
• 각 샘플의 최상 요약을 조합한 앙상블(Cluster_Best)은 ROUGE-2 F1 점수 20.0을 기록했으며, 전체 데이터셋에서 4개 모델 앙상블과 거의 유사한 성능를 보였고, 이는 모든 스타일을 혼합하는 것이 최적의 전략이 아님을 시사한다.
• 스타일 1은 모델 학습에 가장 유리한 것으로 나타났으며, 이 스타일로 훈련한 모델이 동일 스타일의 테스트 세트에서 가장 뛰어난 성능를 기록하여 특정 요약 패턴에 대한 선호도가 있음을 시사한다.