[논문 리뷰] TGSum: Build Tweet Guided Multi-Document Summarization Dataset

Ziqiang Cao, Chengyao Chen외 4명|arXiv (Cornell University)|2015. 11. 26.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 트위터의 소셜 신호를 활용하여 대규모 고품질 다중 문서 요약 데이터셋을 자동으로 구축하는 방법인 TGSum을 제안한다. Hashtag를 주제 클러스터링에, 하이퍼링크를 핵심 포인트 식별에 사용하여, ROUGE 기반 커버리지 최대화를 목표로 하는 정수선형계획법(ILP) 모델을 수립함으로써, 문서와 고품질 트윗 양쪽에서 최적의 문장을 선별한다. 결과적으로 생성된 데이터셋은 학습 데이터로 사용될 경우 지도 학습 기반 요약 모델의 성능을 크게 향상시킨다.

ABSTRACT

The development of summarization research has been significantly hampered by the costly acquisition of reference summaries. This paper proposes an effective way to automatically collect large scales of news-related multi-document summaries with reference to social media's reactions. We utilize two types of social labels in tweets, i.e., hashtags and hyper-links. Hashtags are used to cluster documents into different topic sets. Also, a tweet with a hyper-link often highlights certain key points of the corresponding document. We synthesize a linked document cluster to form a reference summary which can cover most key points. To this aim, we adopt the ROUGE metrics to measure the coverage ratio, and develop an Integer Linear Programming solution to discover the sentence set reaching the upper bound of ROUGE. Since we allow summary sentences to be selected from both documents and high-quality tweets, the generated reference summaries could be abstractive. Both informativeness and readability of the collected summaries are verified by manual judgment. In addition, we train a Support Vector Regression summarizer on DUC generic multi-document summarization benchmarks. With the collected data as extra training resource, the performance of the summarizer improves a lot on all the test sets. We release this dataset for further research.

연구 동기 및 목표

• 다중 문서 요약을 위한 대규모 인간 애너테이션 기반 기준 요약의 부족 문제를 해결하기 위해.
• 트위터에서의 소셜 미디어 반응을 활용해 정보성 있고 독해하기 쉬운 기준 요약을 자동으로 수집하는 방법을 개발하기 위해.
• 감독 학습 기반 요약 모델의 학습 및 평가를 지원할 수 있는 확장 가능한 데이터셋을 구축하기 위해.
• 자동으로 수집한 요약을 추가 학습 데이터로 통합함으로써 기존 요약 모델의 성능을 향상시키기 위해.

제안 방법

• 트윗에 포함된 해시태그를 활용해 뉴스 기사들을 주제별 문서 클러스터로 군집화하기 위해.
• 하이퍼링크가 포함된 트윗(일반적으로 뉴스 기사의 핵심 포인트를 강조하는 트윗)을 분석하여 높은 중요도의 콘텐츠를 식별하기 위해.
• 트윗의 핵심 포인트 커버리지 최대화를 목표로 하여 요약 작업을 정수선형계획법(ILP) 문제로 수식화하기 위해.
• 독해성과 완전성을 확보하기 위해 원본 문서와 고품질 트윗 양쪽에서 요약 문장을 선별하기 위해.
• ROUGE 메트릭을 적용하여 커버리지 측정 및 ILP 솔버가 요약 품질의 이론적 상한선에 가까워지도록 유도하기 위해.
• 수동 평가를 통해 생성된 요약의 정보성과 독해성 확인하기 위해.

실험 결과

연구 질문

• RQ1 트윗의 해시태그와 하이퍼링크와 같은 소셜 미디어 신호를 활용해 다중 문서 요약의 기준 요약을 자동으로 생성하는 데 효과적으로 활용될 수 있는가?
• RQ2 ILP 기반 문장 선별 전략이 요약의 일관성과 커버리지 확보를 동시에 고려할 때 ROUGE 점수를 얼마나 최대화할 수 있는가?
• RQ3 트윗에서 자동으로 수집한 요약의 포함 여부가 감독 학습 기반 요약 모델의 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 딥 러닝 모델 학습에 적합한 대규모, 다양한, 고품질의 데이터셋을 생성하는 데에 확장 가능한가?

주요 결과

• TGSum 데이터셋은 465개의 문서 클러스터에 걸쳐 총 4,658개의 하이퍼링크 트윗을 포함하고 있으며, 평균 23개의 트윗이 클러스터당 존재하며, DUC 데이터셋을 뛰어넘는 규모를 확보하고 있다.
• 수동 평가를 통해 생성된 요약이 정보성과 독해성 측면에서 모두 높은 품질임을 확인하였으며, 원본 문서와 정제된 트윗 양쪽에서 유래한 고품질 콘텐츠를 포함하고 있다.
• 추가 학습 데이터로 사용되었을 때, TGSum은 모든 DUC 테스트 세트에서 지지벡터 회귀(SVR) 요약 모델의 성능을 향상시켰으며, 02 세트에서는 ROUGE-L F1 점수가 30.32에서 32.15로 상승했고, 04 세트에서는 36.64에서 36.64로 동일하게 유지되었다.
• TGSum 데이터의 포함으로 모든 테스트 세트에서 일관된 성능 향상이 관찰되어, 모델 일반화 능력 향상에 효과적임을 입증하였다.
• 문서에서 완전하고 잘 정제된 문장을 선별하고 트윗에서 높은 중요도 콘텐츠를 선택함으로써, 추출 기반과 생성 기반 요약 요소를 효과적으로 균형 잡는 데 성공하였다.