[论文解读] Automatic Speech Summarisation: A Scoping Review

Dana Rezazadegan, Shlomo Berkovsky+5 more|arXiv (Cornell University)|Aug 27, 2020

Natural Language Processing Techniques被引用 9

一句话总结

本综述性研究分析了110项关于自动语音摘要的研究，识别出四种主流架构：句子抽取/压缩、基于特征的分类/排序、句子压缩以及语言建模。监督方法在性能上优于无监督方法，但近期研究重点在于通过深度神经网络和一元语言模型增强无监督方法，以减少对昂贵人工标注的依赖。

ABSTRACT

Speech summarisation techniques take human speech as input and then output an abridged version as text or speech. Speech summarisation has applications in many domains from information technology to health care, for example improving speech archives or reducing clinical documentation burden. This scoping review maps the speech summarisation literature, with no restrictions on time frame, language summarised, research method, or paper type. We reviewed a total of 110 papers out of a set of 153 found through a literature search and extracted speech features used, methods, scope, and training corpora. Most studies employ one of four speech summarisation architectures: (1) Sentence extraction and compaction; (2) Feature extraction and classification or rank-based sentence selection; (3) Sentence compression and compression summarisation; and (4) Language modelling. We also discuss the strengths and weaknesses of these different methods and speech features. Overall, supervised methods (e.g. Hidden Markov support vector machines, Ranking support vector machines, Conditional random fields) performed better than unsupervised methods. As supervised methods require manually annotated training data which can be costly, there was more interest in unsupervised methods. Recent research into unsupervised methods focusses on extending language modelling, for example by combining Uni-gram modelling with deep neural networks. Protocol registration: The protocol for this scoping review is registered at https://osf.io.

研究动机与目标

• 映射自动语音摘要研究在多样化领域和方法论中的当前格局。
• 识别并分类语音摘要系统中使用的主要架构和技术。
• 评估监督方法与无监督方法在语音摘要中的性能与局限性。
• 考察文献中使用的语音特征、训练语料库和研究方法。
• 识别新兴趋势，特别是无监督学习方法的发展，以降低对昂贵人工标注的依赖。

提出的方法

• 开展系统性文献检索，共识别出153篇论文，经相关性与质量筛选后，最终纳入110篇进行综述。
• 提取并分类关键要素：语音特征、摘要架构、训练语料库和研究方法论。
• 将研究归类为四种主要架构：(1) 句子抽取与压缩，(2) 特征抽取结合分类或排序，(3) 句子压缩与压缩摘要，(4) 语言建模。
• 通过定性与比较分析，评估监督方法（如隐马尔可夫SVM、排序SVM、条件随机场）与无监督方法的性能表现。
• 探讨近期无监督方法的趋势，特别是将一元语言模型与深度神经网络结合，以在无需人工标注的情况下提升性能。
• 注册本综述的协议，以确保方法论的透明性与可复现性。

实验结果

研究问题

• RQ1 自动语音摘要研究中占主导地位的架构有哪些？
• RQ2 在性能与资源需求方面，监督方法与无监督方法如何比较？
• RQ3 文献中最常使用的语音特征与训练语料库是什么？
• RQ4 在开发高效语音摘要系统方面，主要挑战是什么，特别是数据标注成本问题？
• RQ5 近期深度学习与语言建模的进展如何被应用于无监督语音摘要？

主要发现

• 监督方法，包括隐马尔可夫SVM、排序SVM和条件随机场，其摘要质量始终优于无监督方法。
• 尽管性能更优，监督方法因人工标注训练数据成本高昂，面临可扩展性问题。
• 无监督方法的兴趣日益增长，特别是通过将一元语言模型与深度神经网络结合，以减少对标注的依赖。
• 四种主要架构——句子抽取/压缩、基于特征的分类/排序、句子压缩以及语言建模——主导了当前文献。
• 本综述发现缺乏标准化的评估协议与多样化的训练语料库，限制了跨研究的可比性。
• 本综述的协议已公开注册，增强了方法论的透明性与可复现性。