[논문 리뷰] Topic-Guided Abstractive Text Summarization: a Joint Learning Approach

Chujie Zheng, Kunpeng Zhang외 3명|arXiv (Cornell University)|2020. 10. 20.

Topic Modeling참고 문헌 42인용 수 6

한 줄 요약

이 논문은 신경 주제 모델링과 Transformer 기반의 시퀀스 투 시퀀스 모델을 통합하는 공동 학습 프레임워크를 제안하며, 주제 수준의 특징을 활용해 전반적인 의미 이해를 유도한다. 이 방법은 장거리 의존성 모델링을 향상시켜 CNN/DM 및 XSUM 데이터셋에서 최신 기준 ROUGE 점수와 뛰어난 인간 평가 결과를 달성한다.

ABSTRACT

We introduce a new approach for abstractive text summarization, Topic-Guided Abstractive Summarization, which calibrates long-range dependencies from topic-level features with globally salient content. The idea is to incorporate neural topic modeling with a Transformer-based sequence-to-sequence (seq2seq) model in a joint learning framework. This design can learn and preserve the global semantics of the document, which can provide additional contextual guidance for capturing important ideas of the document, thereby enhancing the generation of summary. We conduct extensive experiments on two datasets and the results show that our proposed model outperforms many extractive and abstractive systems in terms of both ROUGE measurements and human evaluation. Our code is available at: https://github.com/chz816/tas.

연구 동기 및 목표

• 장문의 문서에서 전반적인 의미적 구조를 포착하는 데에 어려움을 겪는 Transformer 기반 모델의 한계를 해결하기 위해.
• 주제 수준의 특징을 맥락적 가이드로 통합하여 개괄적 요약 품질을 향상시키기 위해.
• 주제 모델과 시퀀스 투 시퀀스 모델을 공동으로 훈련시켜 종단 간 최적화를 달성하기 위해.
• 주제 인식 생성을 통해 요약의 유창성과 사실 일관성을 향상시키기 위해.
• 자동 평가 및 인간 평가 모두에서 추출적 및 개괄적 기준 모델보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 신경 주제 모델(ProdLDA)과 Transformer 기반의 seq2seq 모델을 융합하는 공동 학습 프레임워크를 구현한다.
• 문서로부터 유도된 주제 특징을 디코더 어텐션 메커니즘에 통합하여 요약 생성을 유도한다.
• 주제 모델의 재구성 손실과 요약 작업의 생성 손실을 조합한 다중 과제 손실을 사용해 종단 간으로 모델을 훈련시킨다.
• 하이퍼파rameter α는 주제 모델링과 요약 손실의 기여도를 조절하며, 최적의 성능은 α=0.1에서 달성된다.
• 공동 훈련을 위해 두 작업에 공통된 인코더를 사용하여 파라미터 공유와 공동 최적화를 가능하게 한다.
• 주제 모델은 잠재 주제 분포를 잠재 변수로 사용하는 변분 추론 방법을 통해 훈련된다.

실험 결과

연구 질문

• RQ1 주제 수준의 특징을 통합함으로써 Transformer 기반의 개괄적 요약 모델의 전반적인 의미 이해 능력이 향상되는가?
• RQ2 주제 모델링과 요약을 공동으로 훈련시키는 것이 별도의 훈련 또는 피나이닝보다 더 뛰어난 성능을 내는가?
• RQ3 강력한 기준 모델들과 비교해 복잡하거나 장문의 문서에서 모델의 성능은 어떠한가?
• RQ4 공동 훈련 설정에서 주제 모델링과 생성 목표 간 최적의 균형은 무엇인가?
• RQ5 주제 가이드된 접근 방식은 사실 일관성과 커버리지 측면에서 요약 품질 향상에 기여하는가?

주요 결과

• CNN/DM 데이터셋에서 제안된 모델은 ROUGE-1 44.63, ROUGE-2 21.62, ROUGE-L 36.77를 기록하며, 동일한 설정에서 distil-BART를 능가한다.
• XSUM 데이터셋에서 모델은 ROUGE-1 44.63, ROUGE-2 21.62, ROUGE-L 36.77를 기록하며 강력한 기준 모델들보다 일관된 성능 향상을 보였다.
• 인간 평가 결과, 제안된 모델이 생성한 요약은 distil-BART에 비해 더 유창하고 사실적으로 정확하며 핵심 아이디어를 더 잘 반영하고 있음을 확인했다.
• 제거 실험 결과, 최적의 손실 가중치 파rameter α=0.1이었으며, 이하의 α 값에서 더 뛰어난 성능을 기록했다.
• 안정성 검증 결과, 장문의 문서와 최신 위치 서브군집에서 모델이 더 뛰어난 성능을 보였으며, 이는 전반적인 문서 이해 능력 향상을 시사한다.
• 피나이닝 기간을 연장해도 모델의 성능이 유지됨을 확인했으며, 이는 주제 모델링 구성 요소가 성능 향상의 핵심 요인임을 시사한다.