[논문 리뷰] Massive Multi-Document Summarization of Product Reviews with Weak Supervision

Ori Shapira, Ran Levy|arXiv (Cornell University)|2020. 07. 22.

Topic Modeling참고 문헌 30인용 수 10

한 줄 요약

이 논문은 제품 리뷰를 위한 대규모 다중문서 요약(MMDS)을 소개하며, 수천 건의 리뷰를 클러스터링하고 메도이드 기반의 대표 요약을 사용하여 훈련하는 약한 지도 학습 프레임워크를 제안한다. 이 방법은 ROUGE 점수를 크게 향상시키고 언어적 품질이 뛰어나며, 123개 제품 데이터셋에서 자동 평가 및 수동 평가 모두에서 베이스라인을 능가한다.

ABSTRACT

Product reviews summarization is a type of Multi-Document Summarization (MDS) task in which the summarized document sets are often far larger than in traditional MDS (up to tens of thousands of reviews). We highlight this difference and coin the term "Massive Multi-Document Summarization" (MMDS) to denote an MDS task that involves hundreds of documents or more. Prior work on product reviews summarization considered small samples of the reviews, mainly due to the difficulty of handling massive document sets. We show that summarizing small samples can result in loss of important information and provide misleading evaluation results. We propose a schema for summarizing a massive set of reviews on top of a standard summarization algorithm. Since writing large volumes of reference summaries needed for advanced neural network models is impractical, our solution relies on weak supervision. Finally, we propose an evaluation scheme that is based on multiple crowdsourced reference summaries and aims to capture the massive review collection. We show that an initial implementation of our schema significantly improves over several baselines in ROUGE scores, and exhibits strong coherence in a manual linguistic quality assessment.

연구 동기 및 목표

• 기존 MDS 시스템이 처리할 수 없는 수만 건의 제품 리뷰를 요약하는 도전 과제를 해결하기 위해.
• 대규모 데이터셋에서 인간이 작성한 요약이 불가능한 상황에서, 인간의 레이블이 없는 훈련 스키마를 통해 확장 가능한 방법을 제안하기 위해.
• 각 리뷰 서브셋당 다수의 커뮤니티 기반 기준 요약을 사용하여 평가 체계를 개발하여 정확성과 대표성을 확보하기 위해.
• 소규모 샘플 요약이 중요한 정보 손실과 오해의 평가 결과를 초래할 수 있음을 입증하기 위해.

제안 방법

• 임베딩 기반 클러스터링을 사용하여 대규모 제품 리뷰 집합을 상호 배타적이고 균일한 그룹으로 분할한다.
• 각 클러스터에서 가장 중심에 가까운 리뷰인 메도이드(가장 중심적인 리뷰)를 선택하여 해당 클러스터의 모든 리뷰를 대표하는 약한 기준 요약으로 사용한다.
• 모든 클러스터와 메도이드 쌍을 기반으로 신경망 추상적 요약 모델을 훈련시어, 대규모 입력 길이에 일반화할 수 있도록 한다.
• 요약 파이프라인은 입력 리뷰에 동일한 클러스터링을 적용하고, 각 클러스터별 요약을 생성한 후, 계층적으로 통합하여 최종 요약을 생성한다.
• 평가 시 각 서브셋당 다수의 커뮤니티 기반 기준 요약을 사용하여 ROUGE 기반 지표의 편향을 줄이고 다양성을 확보한다.
• 프레임워크는 Chen과 Bansal(2018)의 FAS 모델 기반으로 개발되어 전체 리뷰 컬렉션에서 엔드 투 엔드 훈련 및 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 완전한 기준 요약을 작성하기 어려운 대규모 제품 리뷰 컬렉션에서, 약한 지도 학습 프레임워크가 추상적 요약 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 리뷰의 소규모 샘플만 요약하는 것은 중요한 정보 손실과 편향된 평가 결과를 초래하는가?
• RQ3 메도이드 기반 대표 리뷰가 대규모 데이터셋에서 고성능 요약 모델을 훈련시키는 데 효과적인 약한 지도 신호가 될 수 있는가?
• RQ4 계층적 클러스터링 및 요약 파이프라인은 최종 요약의 통일성과 품질에 어떤 영향을 미치는가?
• RQ5 각 서브셋당 다수의 커뮤니티 기반 기준 요약은 단일 인간 작성 기준 요약보다 더 강력하고 대표적인 평가를 제공할 수 있는가?

주요 결과

• 제안된 MMDS 프레임워크는 ROUGE-2 및 ROUGE-L 점수에서 여러 베이스라인을 뛰어넘었으며, p-값 ≤ 0.05로 통계적으로 유의미하다.
• 시스템 요약은 높은 언어적 품질을 보였으며, 문법성 평균 3.73, 중복 회피성 3.55, 참조 명확성 3.86, 집중도 3.86, 구조 및 통일성 3.73의 점수를 기록했다.
• 집중도 및 구조 및 통일성에서 메도이드-𝐹1 베이스라인을 초월하여, 모델 생성 요약임에도 불구하고 더 나은 서사적 통일성을 확보했다.
• 수동 평가를 통해 요약이 독해 가능하고 논리적으로 연결되어 있음을 확인했으며, 특히 집중도와 구조적 품질에서 인간이 작성한 리뷰에 근접한 성능을 보였다.
• 모델 붕괴나 훈련 불안정성이 관찰되지 않아, 대규모 리뷰 세트(수천 건 이상)를 성공적으로 처리했다.
• 전자제품, 카메라, 장난감, 책, DVD 등 다양한 제품 카테고리에서 효과적이었으며, 음악 카테고리에서는 FAS 모델의 메모리 제약으로 실패했다.