[논문 리뷰] Improving the Similarity Measure of Determinantal Point Processes for Extractive Multi-Document Summarization

Sangwoo Cho, Logan Lebanoff외 2명|arXiv (Cornell University)|2019. 05. 31.

Topic Modeling참고 문헌 66인용 수 4

한 줄 요약

이 논문은 추출형 다중문서 요약에서 결정성 점프 프로세스(DPPs)를 위한 새로운 유사도 측정 방법을 제안하며, 표면적 유사성과 의미적 유사성을 동시에 모델링하기 위해 캡슐 네트워크를 활용한다. TF-IDF 코사인 유사도와 새로운 요약 전용 문장 쌍 데이터셋으로 훈련된 캡슐 네트워크(CapsNet) 임베딩을 결합하여 부재성 탐지 성능을 향상시켰으며, DUC-04 및 TAC-11 벤치마크에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

The most important obstacles facing multi-document summarization include excessive redundancy in source descriptions and the looming shortage of training data. These obstacles prevent encoder-decoder models from being used directly, but optimization-based methods such as determinantal point processes (DPPs) are known to handle them well. In this paper we seek to strengthen a DPP-based method for extractive multi-document summarization by presenting a novel similarity measure inspired by capsule networks. The approach measures redundancy between a pair of sentences based on surface form and semantic information. We show that our DPP system with improved similarity measure performs competitively, outperforming strong summarization baselines on benchmark datasets. Our findings are particularly meaningful for summarizing documents created by multiple authors containing redundant yet lexically diverse expressions.

연구 동기 및 목표

• 문서들이 공통 주제를 공유하고도 어휘적 다양성을 보일 때 발생하는 부재성 문제를 해결하기 위해.
• TF-IDF나 커널 방법과 같은 전통적인 유사도 측정 방법이 비슷한 의미나 문법적 변형을 포착하지 못하는 한계를 극복하기 위해.
• 요약 작업에서 문장 쌍의 표면형 유사성과 의미적 유사성을 모두 포착하는 더 효과적인 유사도 측정 방법을 개발하기 위해.
• 캡슐 네트워크가 문장 요약에서의 부재성 모델링에 효과적으로 적용될 수 있음을 보여주기 위해, 텍스트 함의나 의미적 텍스트 유사성과 같은 다른 작업과는 다를 바가 있음을 입증하기 위해.
• 더 세밀한 유사도 측정 방법을 통합함으로써 DPP 기반 추출형 요약 성능을 향상시키며, 특히 소규모 실세계 데이터셋에서 성능 향상을 도모하기 위해.

제안 방법

• 요약 맥락에서 부재성을 라벨링한 새로운 문장 쌍 데이터셋을 제안하며, 이는 기존의 NLP 유사도 데이터셋과 구별된다.
• 주제어의 겹침을 캡처하기 위해 TF-IDF 코사인 유사도를 사용하고, 문장 간 의미적 및 구조적 관계를 모델링하기 위해 캡슐 네트워크(CapsNet) 임베딩을 조합한다.
• 캡슐 네트워크는 부재성 탐지에 중점을 두고, 함의나 동치성 탐지가 아닌 요약 전용 Src-Summ 데이터셋으로 훈련된다.
• DPP 모델은 복합 유사도 측정 방법을 사용하여 정보성 있고 부재성이 없는 다양한 문장을 선택한다.
• 두 단계 프로세스를 통해 최적화되며, 먼저 Src-Summ 데이터셋에서의 사전 훈련을 수행하고, 이후 STS에서의 미세조정을 통해 일반화 능력을 향상시킨다.
• 유사도 측정 방법의 성능을 비교하기 위해 히트맵과 유사도 점수를 시각화한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크는 엄격한 의미적 동치성 대신 공통 주제 내용을 기반으로 부재성이 정의되는 요약 작업에서 문장 유사성을 효과적으로 모델링할 수 있는가?
• RQ2 TF-IDF와 CapsNet 임베딩을 조합한 유사도 측정 방법이 기존의 코사인 유사도와 같은 전통적 방법보다 다중문서 요약에서의 부재성을 얼마나 잘 포착하는가?
• RQ3 요약 전용 데이터셋(Src-Summ)으로 훈련된 캡슐 네트워크가 일반 목적의 NLP 데이터셋인 SNLI나 STS를 사용할 때보다 성능이 향상되는가?
• RQ4 향상된 유사도 측정 방법이 벤치마크 데이터셋에서 DPP 기반 추출형 요약의 다양성과 품질을 얼마나 향상시키는가?
• RQ5 소규모 실세계 데이터셋에서 LexRank나 포인터-제너레이터 네트워크와 같은 강력한 베이스라인을 초월할 수 있는가?

주요 결과

• 개선된 유사도 측정 방법을 적용한 제안된 DPP 시스템은 DUC-04 및 TAC-11 벤치마크 데이터셋에서 강력한 베이스라인을 능가하며, 추출형 다중문서 요약 분야에서 경쟁적인 성능을 보였다.
• Src-Summ 데이터셋에서 캡슐 네트워크는 94.8%의 정확도를 기록했으며, STS에서의 성능(64.7%)을 크게 뛰어넘었고, 요약 전용 부재성 탐지와 강한 일치를 보였다.
• TF-IDF 코사인 유사도와 CapsNet 임베딩의 조합이 가장 효과적인 유사도 추정을 제공했으며, 주제어 겹침과 의미적 유사성을 균형 있게 반영함으로써 SNLI로 훈련된 CapsNet에 비해 거짓 양성률을 낮췄다.
• 히트맵 분석 결과, Src-Summ으로 훈련된 캡슐 네트워크는 SNLI나 코사인 유사도에 비해 더 중간적이고 현실적인 유사도 점수를 생성했으며, 이는 너무 엄격하거나 너무 관대한 평가를 피했다.
• 시스템은 "$3 million"과 같은 중요한 주제어를 부재성의 지표로 효과적으로 포착했으며, 이는 어휘 빈도와 주제 일관성이 효과적인 요약에 핵심적임을 보여주었다.
• 인간 평가 결과, DPP 시스템은 과도하게 긴 중심 문장에 의존하는 LexRank나 개괄적 요약 모델에서 흔한 사실 오류를 피한 균형 잡힌 다양성 있고 대표적인 문장 집합을 선택했다.