[논문 리뷰] Meeting Summarization: A Survey of the State of the Art

Lakshmi Prasanna Kumar, Arman Kabiri|arXiv (Cornell University)|2022. 12. 16.

Topic Modeling인용 수 4

한 줄 요약

이 종합 검토는 추출적 및 개괄적 방법, 데이터셋, 평가 지표, 랭킹 보드에서의 모델 성능을 포함하여 회의 요약 기술에 대한 종합적인 개요를 제공한다. 사실성 부재, 장기 입력 처리, 주석 데이터 부족 등의 핵심 과제를 밝히며, 역할 인식 요약 및 향상된 사실성과 같은 미래 연구 방향을 제시한다.

ABSTRACT

Information overloading requires the need for summarizers to extract salient information from the text. Currently, there is an overload of dialogue data due to the rise of virtual communication platforms. The rise of Covid-19 has led people to rely on online communication platforms like Zoom, Slack, Microsoft Teams, Discord, etc. to conduct their company meetings. Instead of going through the entire meeting transcripts, people can use meeting summarizers to select useful data. Nevertheless, there is a lack of comprehensive surveys in the field of meeting summarizers. In this survey, we aim to cover recent meeting summarization techniques. Our survey offers a general overview of text summarization along with datasets and evaluation metrics for meeting summarization. We also provide the performance of each summarizer on a leaderboard. We conclude our survey with different challenges in this domain and potential research opportunities for future researchers.

연구 동기 및 목표

• 가상 회의 원문에서 효율적인 정보 추출의 증가하는 수요에 부응하여 최근의 회의 요약 기술 발전에 대한 종합적 검토를 제공하는 것.
• 다중 발화자, 대화 기반 회의 데이터에 특화된 추출적 및 개괄적 요약 기술을 분석하고 비교하는 것.
• 표준 평가 지표인 ROUGE를 사용하여 주요 공개 데이터셋에서 최신 모델의 성능을 평가하고 벤치마킹하는 것.
• 회의 요약 분야에서 사실성 부재, 장기 컨텍스트 처리, 주석 데이터셋 부족 등의 핵심 과제를 특정하는 것.
• 향후 연구 방향으로 역할 인식 요약, 향상된 사실성, 장기 회의에 대한 확장성 향상 등을 제시하는 것.

제안 방법

• 이 검토는 추출적 및 개괄적 접근에 중점을 두고 40편 이상의 회의 요약 논문에 대한 체계적 리뷰를 수행한다.
• 표준 자동 평가 지표인 ROUGE-1, ROUGE-2, ROUGE-L을 사용하여 여러 벤치마크 데이터셋에서 요약 모델의 성능을 평가한다.
• AMI, ICSI, QMSum, ConvoSumm 데이터셋에 대한 공식 랭킹 보드를 중심으로 발표된 문헌과 원저에서의 성능 결과를 수집 및 보고한다.
• 검토된 주요 모델 구성 요소로는 검색 증강 생성(Retrieval-augmented generation, 예: RetrievalSum), 장기 컨텍스트 트랜스포머(Longformer-BART-arg), 및 미세조정된 대규모 언어 모델(DIALOGLM) 등이 포함된다.
• 요약 품질 향상과 스타일 전이를 개선하는 아키텍처 혁신인 그룹 정렬(Group Alignment) 및 루즈 크레딧(Rouge Credit) 메커니즘을 분석한다.
• 특히 학술 및 기술적 회의에서 입력 구조, 발화자 역할, 도메인 특화 용어가 요약 성능에 미치는 영향을 논의한다.

실험 결과

연구 질문

• RQ1 추출적 및 개괄적 회의 요약에서 지배적인 기술은 무엇이며, 성능 및 설계 측면에서 어떻게 다릅니까?
• RQ2 AMI, ICSI, QMSum, ConvoSumm과 같은 주요 벤치마크 데이터셋에서 최신 모델의 성능은 어떻게 되나요?
• RQ3 회의 요약 분야에서 진전을 가로막는 핵심 과제는 무엇이며, 사실성 부재 및 장기 컨텍스트 처리가 포함되나요?
• RQ4 발화자 역할과 도메인 특화 용어는 생성된 요약의 품질과 통일성에 어떻게 영향을 미칩니까?
• RQ5 회의 요약에서 사실성 향상과 확장성 향상을 위한 가장 유망한 향후 연구 방향은 무엇입니까?

주요 결과

• AMI 데이터셋에서 RetrievalSum은 그룹 정렬 및 루즈 크레딧 메커니즘 덕분에 ROUGE-1 점수 56.26을 기록하여 다른 개괄적 모델을 압도했다.
• ICSI 데이터셋에서 DIALOGLM은 ROUGE-1 점수 49.56을 기록하여 HMNet보다 2.97점 높게 성과를 냈다.
• Koay 등(2020b)은 ICSI에서 ROUGE-1 점수 60.7을 기록하여 도메인 특화 용어와 모델의 단순성의 강력한 영향을 입증했다.
• 장기 컨텍스트 모델인 Longformer-BART-arg는 최대 16K 토큰을 지원하며, AMI에서는 경쟁력 있는 성능을 보였고, ICSI에서는 뛰어난 성능을 기록했지만 DIALOGLM을 초월하지 못했다.
• 다른 기술적 진전에도 불구하고, 개괄적 회의 요약에서 사실성 부재(허구적 내용 생성)는 여전히 주요 과제로 남아 있다.
• 공개된 주석 데이터셋 부족과 산업용 회의의 기밀성으로 인해 현재 모델의 확장성과 재현 가능성에 제약이 있다.