[논문 리뷰] A Baseline Analysis for Podcast Abstractive Summarization

Chujie Zheng, Harry Jiannan Wang외 2명|arXiv (Cornell University)|2020. 08. 24.

Natural Language Processing Techniques참고 문헌 11인용 수 11

한 줄 요약

이 논문은 TREC 2020 Spotify Podcast 데이터셋을 사용하여 팟캐스트 개괄 요약에 대한 베이스라인 분석을 제시한다. 히ュ리스틱 베이스라인과 BART, T5, ProphetNet 등의 최신 기술 모델을 평가한다. CNN/DM 데이터에서의 미세조정은 팟캐스트에서의 성능을 악화시키며, 가장 높은 성능을 보인 모델(DistilBART를 팟캐스트 데이터에서 미세조정한 모델)은 ROUGE-L F1 점수 26.76에 그치며, 대화체 언어와 노이즈 등 팟캐스트 고유의 과제로 인해 향상 여지가 크다는 것을 시사한다.

ABSTRACT

Podcast summary, an important factor affecting end-users' listening decisions, has often been considered a critical feature in podcast recommendation systems, as well as many downstream applications. Existing abstractive summarization approaches are mainly built on fine-tuned models on professionally edited texts such as CNN and DailyMail news. Different from news, podcasts are often longer, more colloquial and conversational, and noisier with contents on commercials and sponsorship, which makes automatic podcast summarization extremely challenging. This paper presents a baseline analysis of podcast summarization using the Spotify Podcast Dataset provided by TREC 2020. It aims to help researchers understand current state-of-the-art pre-trained models and hence build a foundation for creating better models.

연구 동기 및 목표

• TREC 2020 Spotify 팟캐스트 데이터셋을 사용하여 팟캐스트 개괄 요약에 대한 베이스라인을 수립하기 위해.
• 팟캐스트 전사본에서 히ュ리스틱 베이스라인과 최신 기술 기반 사전 훈련 모델의 성능을 평가하기 위해.
• 대화체 톤, 길이, 스폰서십 콘텐츠 등 팟캐스트 요약에 고유한 과제를 특정하기 위해.
• 뉴스 요약 작업과 팟캐스트 요약 작업 간의 성능 격차, 특히 ROUGE 점수에서의 격차를 부각하기 위해.
• 장기적 서사 구조 모델링, 대화 요약, 다중모달 분석, 장문 문서용 트랜스포머 확장 등 향후 연구 방향을 제시하기 위해.

제안 방법

• 연구는 TREC 2020 Spotify 팟캐스트 데이터셋을 사용하며, 이는 105,360개의 에피소드와 전사본, 요약본, 메타데이터를 포함한다.
• 에모지가 많고, 60분 이상인, 부적절한 표현이 포함된, 영어가 아닌, 광고가 지배적인 설명이 포함된 항목을 제거하는 다중 필터링 단계를 거쳐 24,250개의 에피소드로 정제된 데이터셋을 구축한다.
• 히ュ리스틱 베이스라인 두 가지를 제안한다: 전사본의 처음 k개 토큰(Baseline 1) 또는 마지막 k개 토큰(Baseline 2)을 요약으로 선택하며, k는 100에서 500까지 다양하게 설정한다.
• 최신 기술 모델인 DistilBART, T5, ProphetNet을 팟캐스트 데이터셋에 대해 미세조정하고, ROUGE 점수(F1, 정밀도, 재현율)를 사용해 평가한다.
• 모델들은 CNN/DM 데이터에서 미세조정된 후 팟캐스트 데이터셋에서 평가되어, 제로샷 대비 도메인 내 성능을 비교한다.
• 모든 모델의 입력은 전사본의 처음 1024개 토큰(ProphetNet의 경우 512개 토큰)을 사용하며, 베이스라인 분석 결과에서 에피소드의 시작 부분이 더 관련성이 높은 내용을 담고 있음을 확인했다.

실험 결과

연구 질문

• RQ1 전사본의 시작이나 끝에서 토큰을 선택하는 단순 히ュ리스틱 베이스라인의 성능이 최신 기술 모델 대비 어떻게 되는가?
• RQ2 뉴스(예: CNN/DM)에서의 최신 기술 기반 요약 모델과 팟캐스트 데이터에서의 성능 격차는 어느 정도인가?
• RQ3 사전 훈련 모델을 CNN/DM 데이터에서 미세조정한 후 팟캐스트 요약에 적용할 경우 성능이 떨어지는가?
• RQ4 대화체 톤, 길이, 스폰서십 콘텐츠 등 팟캐스트의 고유한 특성이 요약 성능에 어떤 영향을 미치는가?
• RQ5 현재의 제약 조건을 감안할 때, 팟캐스트 요약 향상을 위한 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 가장 높은 성능을 보인 베이스라인은 처음 100개 토큰을 선택하는 Baseline 1로, ROUGE-L F1 점수 18.44를 기록했으며, 끝부분 기반 베이스라인(15.43)을 능가했고, 이는 초기 부분이 더 중요한 정보를 담고 있음을 시사한다.
• 팟캐스트 데이터셋에서 미세조정한 DistilBART가 ROUGE-L F1 점수 22.71로 가장 높은 성능을 기록했으며, CNN/DM에서의 성능(41.30)에 비해 크게 낮아 팟캐스트 요약의 과제를 잘 보여준다.
• ProphetNet을 CNN/DM 데이터에서 미세조정한 후 팟캐스트에 적용하면 성능 저하가 발생한다(ROUGE-L F1: 19.12 vs. 44.20 on CNN/DM), 이는 도메인 전이 문제를 시사한다.
• 뉴스 요약과 팟캐스트 요약 간의 성능 격차는 크다: ROUGE-L F1 점수는 CNN/DM에서 41.30에서 팟캐스트로 22.71로 감소했으며, 이는 대화체 및 노이즈가 많은 콘텐츠로 인해 팟캐스트 요약이 더 어렵다는 것을 시사한다.
• 팟캐스트 데이터셋에서 미세조정한 모델(DistilBART)이 ROUGE-1 F1 점수 26.76을 기록하여 테스트된 모든 모델 중에서 가장 높은 성능을 보였지만, 여전히 뉴스 데이터셋에서의 최신 기술 성능에는 훨씬 못 미친다.
• 본 연구는 향후 연구 방향으로 네 가지를 특정한다: 장기 서사 구조 모델링, 대화 요약 향상, 다중모달 오디오 특징 활용, 전체 전사본을 대상으로 한 장기적 컨텍스트 어텐션 메커니즘 확장.