[논문 리뷰] Automatic Speech Summarisation: A Scoping Review

Dana Rezazadegan, Shlomo Berkovsky외 5명|arXiv (Cornell University)|2020. 08. 27.

Natural Language Processing Techniques인용 수 9

한 줄 요약

이 범위 검토는 자동 음성 요약 분야의 110篇의 연구를 분석하여 네 가지 주요 아키텍처를 규명한다: 문장 추출/압축, 특징 기반 분류/순위 매기기, 문장 압축, 언어 모델링. 지도 학습 방법은 비지도 학습 방법보다 성능이 뛰어났지만, 최근 연구는 깊이 신경망과 유니그램 모델링을 통해 수동 주석의 의존도를 줄이기 위해 비지도 학습 방법을 향상시키는 데 초점을 맞추고 있다.

ABSTRACT

Speech summarisation techniques take human speech as input and then output an abridged version as text or speech. Speech summarisation has applications in many domains from information technology to health care, for example improving speech archives or reducing clinical documentation burden. This scoping review maps the speech summarisation literature, with no restrictions on time frame, language summarised, research method, or paper type. We reviewed a total of 110 papers out of a set of 153 found through a literature search and extracted speech features used, methods, scope, and training corpora. Most studies employ one of four speech summarisation architectures: (1) Sentence extraction and compaction; (2) Feature extraction and classification or rank-based sentence selection; (3) Sentence compression and compression summarisation; and (4) Language modelling. We also discuss the strengths and weaknesses of these different methods and speech features. Overall, supervised methods (e.g. Hidden Markov support vector machines, Ranking support vector machines, Conditional random fields) performed better than unsupervised methods. As supervised methods require manually annotated training data which can be costly, there was more interest in unsupervised methods. Recent research into unsupervised methods focusses on extending language modelling, for example by combining Uni-gram modelling with deep neural networks. Protocol registration: The protocol for this scoping review is registered at https://osf.io.

연구 동기 및 목표

• 다양한 도메인과 방법론을 포함한 자동 음성 요약 연구의 현재 풍경을 맵핑하기 위해.
• 음성 요약 시스템에서 사용되는 주요 아키텍처와 기법을 식별하고 분류하기 위해.
• 음성 요약에서 지도 학습 대비 비지도 학습 방법의 성능 및 한계 평가하기 위해.
• 문헌 전반에서 사용된 음성 특징, 학습 코퍼스, 연구 방법 분석하기 위해.
• 특히 수동 주석의 의존도를 줄이기 위한 비지도 학습 접근 방식의 최근 추세 식별하기 위해.

제안 방법

• 관련성과 품질을 기준으로 선별한 후 153편의 논문을 식별한 체계적 문헌 검색을 수행하였으며, 그 중 110편을 분석 대상으로 선정하였다.
• 핵심 구성 요소인 음성 특징, 요약 아키텍처, 학습 코퍼스, 연구 방법론을 추출하고 분류하였다.
• 연구를 네 가지 주요 아키텍처로 분류하였다: (1) 문장 추출 및 압축, (2) 분류 또는 순위 매기기 위한 특징 추출, (3) 문장 압축 및 압축 요약, (4) 언어 모델링.
• qualitative 및 비교 분석을 통해 지도 학습 방법(예: 은닉 마르코프 SVM, 순위 매기기 SVM, CRF)과 비지도 학습 방법의 성능을 평가하였다.
• 최근 비지도 학습 방법의 추세를 탐색하였으며, 특히 깊이 신경망과 유니그램 언어 모델링을 통합하여 수동 주석 없이도 성능을 향상시키는 데 초점을 맞추었다.
• 메타분석의 투명성과 재현 가능성을 확보하기 위해 리뷰 프로토콜를 사전 등록하였다.

실험 결과

연구 질문

• RQ1 자동 음성 요약 연구에서 지배적인 아키텍처는 무엇인가요?
• RQ2 성능 및 자원 요구 사항 측면에서 지도 학습과 비지도 학습 방법은 어떻게 비교될 수 있나요?
• RQ3 문헌 전반에서 가장 흔히 사용되는 음성 특징과 학습 코퍼스는 무엇인가요?
• RQ4 특히 데이터 주석 비용 문제와 관련하여 효과적인 음성 요약 시스템 개발의 주요 과제는 무엇인가요?
• RQ5 최근 딥 러닝 및 언어 모델링의 발전은 비지도 음성 요약에 어떻게 적용되고 있나요?

주요 결과

• 은닉 마르코프 SVM, 순위 매기기 SVM, 조건부 랜덤 필드 등 지도 학습 방법은 요약 품질 측면에서 비지도 학습 방법을 일관되게 뛰어넘었다.
• 우수한 성능에도 불구하고, 지도 학습 방법은 수동 주석이 필요한 학습 데이터의 높은 비용으로 인해 확장성 문제를 겪는다.
• 비지도 접근 방식에 대한 관심이 증가하고 있으며, 특히 유니그램 언어 모델링을 깊이 신경망과 결합하여 주석 의존도를 줄이기 위한 연구가 활발히 진행되고 있다.
• 문장 추출/압축, 특징 기반 분류/순위 매기기, 문장 압축, 언어 모델링의 네 가지 주요 아키텍처가 현재 문헌을 지배하고 있다.
• 이 범위 검토는 표준화된 평가 프로토콜와 다양한 학습 코퍼스의 부족을 지적하며, 연구 간 비교 가능성 제한을 지적한다.
• 이 범위 검토의 프로토콜는 공개 등록되어 있어 방법론의 투명성과 재현 가능성을 향상시켰다.