[논문 리뷰] A Two-Phase Approach for Abstractive Podcast Summarization

Chujie Zheng, Kunpeng Zhang외 2명|arXiv (Cornell University)|2020. 11. 16.

Topic Modeling참고 문헌 11인용 수 6

한 줄 요약

이 논문은 ROUGE 기반 및 주제 강화 방법을 사용해 부정확성과 의미를 유지하면서 중복성을 줄이는 두 단계의 개괄적 팟캐스트 요약 접근법을 제안한다. 첫 번째 단계에서는 요약을 생성하기 위해 미세조정된 distilBART 모델을 사용하여 핵심 문장을 선택한다. 이 방법은 TREC 2020 팟캐스트 트랙에서 최신 기술 성능을 달성하여 평균 참가자보다 ROUGE 점수와 인간 평가 모두에서 뛰어난 성능을 보였으며, 한 방법은 품질 평가에서 14.3% 높은 점수를 기록했다.

ABSTRACT

Podcast summarization is different from summarization of other data formats, such as news, patents, and scientific papers in that podcasts are often longer, conversational, colloquial, and full of sponsorship and advertising information, which imposes great challenges for existing models. In this paper, we focus on abstractive podcast summarization and propose a two-phase approach: sentence selection and seq2seq learning. Specifically, we first select important sentences from the noisy long podcast transcripts. The selection is based on sentence similarity to the reference to reduce the redundancy and the associated latent topics to preserve semantics. Then the selected sentences are fed into a pre-trained encoder-decoder framework for the summary generation. Our approach achieves promising results regarding both ROUGE-based measures and human evaluations.

연구 동기 및 목표

• 표준 트랜스포머 모델의 컨텍스트 길이를 초월하는 긴 대화적이고 노이즈가 많은 팟캐스트 원고를 요약하는 과제를 해결하기 위해.
• 기존의 개괄적 요약 모델이 대화체, 광고가 많은, 긴 팟캐스트 콘텐츠를 처리하는 데 한계를 보이는 문제를 극복하기 위해.
• 의미적으로 중요한 비중 있는 내용을 식별하고 중복을 방지하는 문장 선택 메커니즘을 개발하여 더 나은 개괄적 요약을 향상시키기 위해.
• 선택 과정에 기반한 참조(ROUGE) 및 주제 수준 기능을 통합하여 선택된 문장의 의미 일관성과 커버리지 향상을 위해.
• 추출 필터링과 개괄적 생성을 조합한 파ipeline을 통해 TREC 2020 팟캐스트 트랙 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 두 단계 파이프라인 적용: 먼저, 기준 요약과의 유사도를 기반으로 ROUGE 점수를 사용하고, 잠재 주제 모델링을 통해 의미적 콘텐츠를 유지하면서 긴 팟캐스트 원고에서 핵심 문장을 선택한다.
• 문장 수준의 ROUGE 점수를 사용해 기준 요약과 가장 유사한 문장을 식별하여 중복성을 최소화한다.
• 주제 모델링(LDA 또는 유사한 방법 포함)을 통합하여 선택된 문장들이 팟캐스트의 핵심 주제를 대표하도록 보장한다.
• 선택된 문장을 사전 훈련된 distilBART 인코더-디코더 모델에 입력하여 개괄적 요약을 생성한다.
• HuggingFace의 distilBART-cnn-12-6를 활용하여 필터링된 입력에 대해 효율적이고 효과적인 개괄적 생성을 수행한다.
• 추출 필터링과 개괄적 생성을 조합하여 사실적 커버리지와 자연어 유창성의 균형을 이루도록 한다.

실험 결과

연구 질문

• RQ1 긴 대화체 팟캐스트 원고에서 중요한 비중 있는 문장과 중복이 없는 문장을 효과적으로 식별할 수 있는 방법은 무엇인가?
• RQ2 ROUGE 기반 문장 선택이 팟캐스트 요약의 개괄적 생성 성능 향상에 어느 정도 기여하는가?
• RQ3 주제 수준 기능을 통합할 경우 선택된 문장의 의미 일관성과 커버리지가 어떻게 향상되는가?
• RQ4 두 단계 추출-다음 생성 접근법이 장기 팟캐스트 데이터에 대해 종단간 개괄적 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ5 고품질 팟캐스트 요약의 핵심 특징는 무엇이며, 이를 자동 요약에서 체계적으로 캡처할 수 있는가?

주요 결과

• 제안된 두 단계 접근법은 TREC 2020 팟캐스트 트랙에서 인간 평가 점수 1.12를 기록했으며, 평균 참가자 점수 0.98보다 14.3% 높았다.
• Method 3는 가장 높은 인간 품질 평가 점수를 기록했으며, '매우 좋음'으로 평가된 요약 비율이 7.82%였고, '좋음'으로 평가된 비율은 21.79%였으며, 고품질 범주에서 다른 방법들을 능가했다.
• 모든 네 가지 제출된 방법이 인간 평가 질문 여덟 개 중 최소 여섯 개에서 평균을 초월했으며, 진행자, 주제, 팟캐스트 형식 등의 핵심 요소를 잘 포착하고 있음을 보여주었다.
• 모델은 Q1(주요 인물 이름)에서 0.60, Q3(주요 주제)에서 0.70, Q5(팟캐스트 제목 맥락)에서 0.68의 점수를 기록하여 核 心 콘텐츠를 잘 포착하고 있음을 보여주었다.
• 중복성 감소 효과가 뚜렷했으며, Q6(중복 정보) 점수에서 낮은 점수를 기록했고, 총 요약 중 4.0%만 높은 중복성으로 평가되었다.
• 유창하고 잘 구성된 요약을 생성하는 데 있어 강건성을 입증했으며, Q7(좋은 영어)와 Q8(적절한 문장 경계)에서 높은 점수를 기록했고, 메서드 평균 Q7 점수는 0.74였다.