[论文解读] TREC 2020 Podcasts Track Overview

Rosie Jones, Ben Carterette+7 more|arXiv (Cornell University)|Mar 29, 2021

Topic Modeling参考文献 17被引用 8

一句话总结

本文介绍了TREC 2020 Podcasts Track，这是一个新的共享任务，专注于使用包含超过10万个英语播客节目（含音频、文字转录和元数据）的数据集进行播客信息检索与摘要生成。该任务包含两个子任务——片段检索与摘要生成，基于自动转录文本的深度学习模型表现出色，ROUGE-L F值最高达0.256，同时凸显了处理多样化播客格式和大规模数据的挑战。

ABSTRACT

The Podcast Track is new at the Text Retrieval Conference (TREC) in 2020. The podcast track was designed to encourage research into podcasts in the information retrieval and NLP research communities. The track consisted of two shared tasks: segment retrieval and summarization, both based on a dataset of over 100,000 podcast episodes (metadata, audio, and automatic transcripts) which was released concurrently with the track. The track generated considerable interest, attracted hundreds of new registrations to TREC and fifteen teams, mostly disjoint between search and summarization, made final submissions for assessment. Deep learning was the dominant experimental approach for both search experiments and summarization. This paper gives an overview of the tasks and the results of the participants' experiments. The track will return to TREC 2021 with the same two tasks, incorporating slight modifications in response to participant feedback.

研究动机与目标

• 在TREC设立一个专注于播客信息检索与自然语言处理的新共享任务。
• 通过提供大规模、多样化的播客数据集（含转录文本和元数据）来推动口语内容检索与摘要研究。
• 评估系统在两个核心任务上的表现：检索两分钟长的播客片段，以及生成节目摘要。
• 识别处理多样化播客格式（包括非正式、主题性及非传统内容）所面临的挑战。
• 通过收集参与者反馈并规划TREC 2021的改进措施，为未来任务设计提供参考。

提出的方法

• 该任务提供了超过10万个英语播客节目的数据集，包含使用Google语音转文本API生成的自动转录文本、元数据和RSS订阅源。
• 片段检索任务要求根据文本查询，从固定起始点在节目中定位两分钟长的片段。
• 摘要任务要求基于节目转录文本生成简洁摘要，并使用ROUGE分数与节目创作者提供的描述进行评估。
• 所有提交均基于文本输入；仅有一支团队使用音频以提升转录质量。
• 评估采用人工评估方式评估摘要质量，同时使用自动指标（ROUGE-L）评估两个任务。
• 通过问卷调查收集参与者反馈，以指导TREC 2021的改进。

实验结果

研究问题

• RQ1 深度学习模型在自动转录文本上对检索相关两分钟播客片段的效果如何？
• RQ2 在摘要生成中，处理多样化播客格式（包括非正式、主题性及前卫内容）的关键挑战是什么？
• RQ3 自动语音识别转录文本的质量如何影响检索与摘要性能？
• RQ4 考虑到大多数系统仅使用转录文本，音频数据在提升检索或摘要结果方面起到什么作用？
• RQ5 未来播客检索任务应如何设计，以更好地支持新参与者并应对数据规模挑战？

主要发现

• 深度学习模型在两个任务中均占据主导地位，最佳摘要系统ROUGE-L F值达到0.256。
• 表现最佳的摘要系统采用微调后的BART模型和序列到序列模型，优于抽取式基线方法（如TextRank）。
• 摘要性能因播客类型而异，主题性及目的导向的节目更容易摘要，而宽泛或非传统格式的节目则更具挑战。
• 数据集规模是参与者面临的主要障碍，10%的受访者表示数据规模是提交的主要挑战。
• 仅有一支团队使用了完整的音频数据，表明尽管音频信号可能具有优势，基于转录文本的方法仍占主导地位。
• 对于TREC 2021，该任务将演变为允许自由选择节目中的跳入点，并聚焦于生成音频预告片作为摘要，同时提供更清晰的任务说明，并为新参与者设计潜在的子任务。