[논문 리뷰] QMSum: A New Benchmark for Query-based Multi-domain Meeting Summarization

Ming Zhong, Da Yin외 9명|arXiv (Cornell University)|2021. 04. 13.

Topic Modeling참고 문헌 52인용 수 27

한 줄 요약

QMSum은 다수 도메인에 걸친 질의 기반 회의 요약을 위한 새로운 벤치마크를 도입하고, 광범위한 베이스라인과 다도메인 평가를 포함한 locate-then-summarize 2단계 방법을 제시한다.

ABSTRACT

Meetings are a key component of human collaboration. As increasing numbers of meetings are recorded and transcribed, meeting summaries have become essential to remind those who may or may not have attended the meetings about the key decisions made and the tasks to be completed. However, it is hard to create a single short summary that covers all the content of a long meeting involving multiple people and topics. In order to satisfy the needs of different types of users, we define a new query-based multi-domain meeting summarization task, where models have to select and summarize relevant spans of meetings in response to a query, and we introduce QMSum, a new benchmark for this task. QMSum consists of 1,808 query-summary pairs over 232 meetings in multiple domains. Besides, we investigate a locate-then-summarize method and evaluate a set of strong summarization baselines on the task. Experimental results and manual analysis reveal that QMSum presents significant challenges in long meeting summarization for future research. Dataset is available at \url{https://github.com/Yale-LILY/QMSum}.

연구 동기 및 목표

• 질의 기반 다도메인 회의 요약 작업을 정의하고 유연하고 사용자 맞춤형 회의 요약이 필요한 이유를 동기부여한다.
• 질의, 관련 범위, 요약을 포함하고 다수 도메인에 걸친 고품질의 계층적으로 주석된 데이터셋(QMSum)을 구축한다.
• Locate-then-Summarize 파이프라인을 제안하고 긴 회의 요약의 어려움을 정량화하기 위한 강력한 베이스라인을 확립한다.

제안 방법

• 태스크를 p(y|Q, X)로 형식화한다. 여기서 Q는 질의이고 X는 회의 기록이다.
• 질의 관련 범위를 식별하는 두 단계 Locator를 구현하고( Pointer Network 또는 계층적 순위 매김 사용 ), 추출된 범위에서 추상적 요약을 생성하는 Summarizer를 뒤따르게 한다.
• 골드 범위의 유무에 따라 여러 요약기(PGNet, BART, HMNet)를 탐색하여 로케라이제이션 단계의 영향을 평가한다.
• 세 도메인(Product, Academic, Committee)에서 구축하고 평가하며 교차 도메인 일반화를 분석한다.
• 다도메인 설정에서 견고성을 테스트하기 위해 교차 도메인 사전학습 및 평가를 제공한다.

실험 결과

연구 질문

• RQ1 Locate-then-Summarize 접근이 길고 다도메인인 회의 기록에 대해 질의 중심의 요약을 효과적으로 생성할 수 있는가?
• RQ2 교차 도메인 학습이 Product, Academic, Committee 도메인 전반에 걸친 회의 요약 모델의 일반화에 어떤 영향을 미치는가?
• RQ3 질의 기반 회의 요약의 주요 도전과제(예: 사실성, 관련성)는 무엇이며 질의 유형에 따라 어떻게 달라지는가?

주요 결과

• QMSum은 세 도메인에 걸친 232회의 미팅에서 1,808 쌍의 query–summary를 포함한다.
• 제안된 Locator를 사용하여 관련 범위를 찾는 것은 요약기의 입력 품질을 크게 향상시키며 원본 텍스트의 1/3를 추출할 때 ROUGE-L 리콜이 최대 84.04에 달한다.
• Locator 입력을 가진 신경 요약기가 베이스라인보다 우수하며, 단일 도메인 설정에서 HMNet이 테스트된 모델 중 가장 좋은 결과를 달성한다.
• 다도메인 학습은 강력한 교차 도메인 성능을 낳으며 일부 도메인에서 단일 도메인 모델보다 우수한 성능을 보일 수 있다(예: Academic: ROUGE-2 및 ROUGE-L).
• 인간 평가에서 생성된 요약의 사실성 및 관련성에 상당한 격차가 드러났으며, 74%의 샘플이 사실과 일치하지 않고 31%는 질의와 무관하다고 나타났다.