[논문 리뷰] Combining State-of-the-Art Models with Maximal Marginal Relevance for Few-Shot and Zero-Shot Multi-Document Summarization

David Adams, Gandharv Suri외 1명|arXiv (Cornell University)|2022. 11. 19.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 소수의 샘플(few-shot) 및 제로샷(-zero-shot) 다중문서 요약(MDS) 성능을 햖을 수 있도록 최신 사전학습 모델의 출력을 융합하는 새로운 MMR 기반 프레임워크를 제안한다. MMR 스코링에서 다양성보다 쿼리 관련성을 우선시함으로써, 인간 요약과의 단어 수준 유사도를 향상시키면서도 ROUGE 메트릭스 전반에서 최신 기술 수준의 성능 유지를 달성한다. 특히 자원이 제한된 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

In Natural Language Processing, multi-document summarization (MDS) poses many challenges to researchers above those posed by single-document summarization (SDS). These challenges include the increased search space and greater potential for the inclusion of redundant information. While advancements in deep learning approaches have led to the development of several advanced language models capable of summarization, the variety of training data specific to the problem of MDS remains relatively limited. Therefore, MDS approaches which require little to no pretraining, known as few-shot or zero-shot applications, respectively, could be beneficial additions to the current set of tools available in summarization. To explore one possible approach, we devise a strategy for combining state-of-the-art models' outputs using maximal marginal relevance (MMR) with a focus on query relevance rather than document diversity. Our MMR-based approach shows improvement over some aspects of the current state-of-the-art results in both few-shot and zero-shot MDS applications while maintaining a state-of-the-art standard of output by all available metrics.

연구 동기 및 목표

• MDS 전용 훈련 데이터가 제한적인 문제를 해결하기 위해 효과적인 소수의 샘플 및 제로샷 요약을 가능하게 하기 위해.
• 피팅 튜닝이 불가능하거나 너무 비용이 많이 드는 자원이 제한된 환경에서 요약 품질을 향상시키기 위해.
• 여러 사전학습 모델의 다양한 출력을 융합하면서도 중복을 최소화하고 쿼리에 대한 관련성을 극대화하기 위해.
• MMR 기반 융합이 MDS 데이터에 대한 모델 피팅 튜닝 없이도 최신 기술 수준의 성능을 달성할 수 있음을 보여주기 위해.
• 쿼리 중심의 MMR 가중치가 다양성 중심 접근보다 MDS에서 더 우수한 성능을 낼 수 있는지 탐색하기 위해.

제안 방법

• 다양한 사전학습 모델의 요약 출력을 통합하는 프레임워크로, MDS 및 SDS에 대해 피팅 튜닝된 모델을 포함한다.
• 각 문서 클러스터는 MDS에 사전학습된 모델의 경우 단일 문서로 처리되고, 다른 모델의 경우 개별 문서로 분할된다.
• 결합된 요약 출력에 MMR 알고리즘을 적용하며, 상호 요약 간 다양성보다 쿼리 관련성에 강한 편향을 두고 있다.
• 유사도는 후보 문장과 LDA로 생성된 쿼리 문서 간의 의미적 유사도로 계산된다.
• 최종 요약은 관련성과 중복을 균형 잡는 MMR 스코어를 최대화하는 문장을 반복적으로 선택하여 구성된다.
• 소수의 샘플 및 제로샷 설정에서 Multi-News 및 WCEP 데이터셋에 대한 성능 평가를 위해 ROUGE 메트릭스를 사용한다.

실험 결과

연구 질문

• RQ1 MMR를 통해 여러 최신 기술 수준의 모델을 융합하면 소수의 샘플 및 제로샷 설정에서 MDS 성능을 향상시킬 수 있는가?
• RQ2 MMR 선택에서 다양성보다 쿼리 관련성을 우선시할 경우 ROUGE 점수와 요약 품질이 향상되는가?
• RQ3 자원이 제한된 MDS 환경에서 제안된 방법은 개별 모델 및 기존 최신 기술 수준의 접근법보다 어떻게 비교되는가?
• RQ4 MDS에 사전학습되지 않은 모델을 포함시키면 성능 향상에 얼마나 기여하는가, 특히 제로샷 응용에서?
• RQ5 MMR 기반 융합은 어휘 수준의 관련성을 향상시키는 동안 읽기 쉬움과 논리적 일관성을 유지할 수 있는가?

주요 결과

• MMR 융합 방법은 Multi-News 데이터셋에서 가장 높은 ROUGE-1 점수(46.23)를 기록하여 모든 개별 모델을 초월했다.
• WCEP 데이터셋에서는 제로샷 설정에서 ROUGE-1 점수가 30.74를 기록하여 모든 베이스라인 모델보다 뚜렷한 향상을 보였다.
• PEGASUS-MDS 모델보다 ROUGE-2 및 ROUGE-L 점수가 낮았지만, 모든 메트릭스에서 최신 기술 수준의 성능을 유지했다.
• 제로샷 WCEP 실험에서 최신 기술 수준의 모델보다 상대적 향상 폭이 더 커, 자원이 제한된 상황에서의 효과성이 더 뚜렷하게 드러났다.
• 완전한 문장을 선택함으로써 읽기 쉬움과 논리적 일관성을 유지하여 조각나거나 비논리적인 출력을 방지했다.
• 결과적으로 MDS에 사전학습되지 않은 모델이 성능 향상에 의미 있는 기여를 한다는 점이 확인되었으며, 특히 피팅 튜닝이 불가능한 경우에 유의미하다.