[논문 리뷰] Transformers in Speech Processing: A Survey

Siddique Latif, Aun Zaidi외 5명|arXiv (Cornell University)|2023. 03. 21.

Speech Recognition and Synthesis인용 수 17

한 줄 요약

음성 처리에서 트랜스포머 모델에 대한 포괄적 고찰로, ASR, TTS, 번역, 개선, 다중 모달 응용, 대화 시스템을 다루며 도전과 향후 방향을 제시한다.

ABSTRACT

The remarkable success of transformers in the field of natural language processing has sparked the interest of the speech-processing community, leading to an exploration of their potential for modeling long-range dependencies within speech sequences. Recently, transformers have gained prominence across various speech-related domains, including automatic speech recognition, speech synthesis, speech translation, speech para-linguistics, speech enhancement, spoken dialogue systems, and numerous multimodal applications. In this paper, we present a comprehensive survey that aims to bridge research studies from diverse subfields within speech technology. By consolidating findings from across the speech technology landscape, we provide a valuable resource for researchers interested in harnessing the power of transformers to advance the field. We identify the challenges encountered by transformers in speech processing while also offering insights into potential solutions to address these issues.

연구 동기 및 목표

• 트랜스포머가 음성 처리 전반(ASR, 합성, 번역, 개선, 대화, 다중모달 작업)에 어떻게 적용되는지 식별한다.
• 100편이 넘는 논문의 연구결과를 정리하여 트랜스포머 기반 SP의 현재 트렌드와 기법을 맵핑한다.
• 도전과제를 강조하고 음성 트랜스포머의 향후 연구 방향 및 잠재적 해결책을 제시한다.

제안 방법

• 음성 처리에서의 트랜스포머 문헌을 검토하고 합성한다.
• 연구를 적용 분야별로 분류한다(ASR, 신경 기반 TTS, ST, 증강/개선, 다중모달, 대화).
• 핵심 트랜스포머 개념(셀프 어텐션, 멀티헤드 어텐션, 포지셔널 인코딩)과 이들의 SP 작업과의 관련성을 설명한다.
• 대표 모델과 사전학습 전략( wav2vec, w2v-BERT, Whisper, Conformer 등)을 요약한다.
• 음성 트랜스포머의 열린 문제 및 향후 연구 방향에 대해 논의한다.

실험 결과

연구 질문

• RQ1 트랜스포머 아키텍처가 음성 처리 작업에 적용되는 주요 방법은 무엇인가?
• RQ2 음성 데이터에 트랜스포터를 적용할 때의 주요 도전과제는 무엇이며 어떤 해결책이 제안되었는가?
• RQ3 성능과 학습 효율성 측면에서 트랜스포머 기반 SP 모델은 전통적인 RNN 기반 접근 방식과 어떻게 비교되는가?
• RQ4 트랜스포어 기반 음성 처리 연구의 주요 트렌드와 향후 방향은 무엇인가?

주요 결과

• 셀프 어텐션으로 인해 트랜스포머는 전통적인 RNN보다 음성에서 장기 의존성을 더 잘 모델링할 수 있다.
• 멀티헤드 어텐션과 병렬 계산은 대규모 음성 데이터셋에서 학습 효율을 향상시킨다.
• 전문 모델(wav2vec, wav2vec 2.0, Whisper, Conformer, SpeechT5, VALL-E 등)이 ASR, TTS 및 다국어 작업에서 최첨단 결과를 보여준다.
• 자체 지도 사전학습(예: wav2vec, data2vec, Whisper)은 라벨링 데이터 요구를 줄이고 교차 언어 및 다국어 음성 이해를 지원한다.
• 트랜스포머는 하이브리드(Conformer), 엔드투엔드 아키텍처 및 다중모달 기능으로 확장되어 다양한 SP 작업을 다룬다.
• 신흥 트렌드로는 제로샷 및 교차언어 TTS/ASR, 대규모 사전학습, 다수의 음성 작업을 위한 통합 모델이 포함된다.