[논문 리뷰] SpeechNet: A Universal Modularized Model for Speech Processing Tasks

Yi‐Chen Chen, Po-Han Chi외 8명|arXiv (Cornell University)|2021. 05. 07.

Speech Recognition and Synthesis참고 문헌 67인용 수 6

한 줄 요약

이 논문은 공유 인코더와 디코더를 사용하여 다양한 음성 처리 작업—예를 들어 음성 인식(ASR), 음성 강화(SE), 화자 분류(SC), 텍스트 음성 변환(TTS), 음성 변환(VC)—을 하나의 텍스트-투-텍스트 프레임워크로 통합하는 유니버설 모odularized 모델인 SpeechNet을 제안한다. 다중 작업 학습이 성능 향상에 기여함을 입증하며, 특히 ASR에서 두드러진다. 또한 향후 모듈러하고 다중 작업 기반 음성 모델에 대한 연구를 가능하게 하기 위해 코드를 공개한다.

ABSTRACT

There is a wide variety of speech processing tasks ranging from extracting content information from speech signals to generating speech signals. For different tasks, model networks are usually designed and tuned separately. If a universal model can perform multiple speech processing tasks, some tasks might be improved with the related abilities learned from other tasks. The multi-task learning of a wide variety of speech processing tasks with a universal model has not been studied. This paper proposes a universal modularized model, SpeechNet, which treats all speech processing tasks into a speech/text input and speech/text output format. We select five essential speech processing tasks for multi-task learning experiments with SpeechNet. We show that SpeechNet learns all of the above tasks, and we further analyze which tasks can be improved by other tasks. SpeechNet is modularized and flexible for incorporating more modules, tasks, or training approaches in the future. We release the code and experimental settings to facilitate the research of modularized universal models and multi-task learning of speech processing tasks.

연구 동기 및 목표

• 광범위한 음성 처리 작업을 통합된 프레임워크에서 처리할 수 있는 유니버설 모델을 개발하는 것.
• 다양한 음성 작업 간의 다중 작업 학습이 지식 전이를 통해 모델 성능 향상에 기여하는지 조사하는 것.
• 새로운 작업, 모듈, 또는 학습 전략을 유연하게 통합할 수 있는 모듈러 아키텍처를 설계하는 것.
• 연구를 가속화하기 위해 코드와 실험 설정을 공개하는 것.

제안 방법

• 모든 음성 처리 작업을 입력-출력 쌍으로 간주: 음성/텍스트 입력 → 음성/텍스트 출력, 이를 통해 통합된 프레임워크를 구현.
• 6개의 핵심 모듈 사용: Prosody Encoder, Speaker Encoder, Content Encoder, Audio Decoder, Text Encoder, Text Decoder. 각 모듈은 특정 모odalities를 처리.
• 모듈을 연결하여 작업별 파이프라인을 구성, 예를 들어 ASR(음성 입력 → 텍스트 출력) 또는 TTS(텍스트 입력 → 음성 출력).
• 공유 파arameter를 사용하여 여러 작업을 동시에 학습하는 다중 작업 학습(MTL) 적용. 목적 간 기울기 누적 기법 사용.
• 기울기 갈등 문제를 해결하기 위해 AutoLoss 및 PCGrad와 같은 최적화 전략 적용.
• 통합 손실 함수를 사용하여 가변 가중치( AutoLoss)와 기울기 재가중( PCGrad)을 통해 다양한 작업 간 학습 안정성을 향상.

실험 결과

연구 질문

• RQ1 단일 유니버설 모델이 다중 작업 학습을 통해 다양한 음성 처리 작업을 효과적으로 학습할 수 있는가?
• RQ2 다양한 음성 처리 작업 조합 중에서 공동 학습 시 지식 전이가 유의미하게 기여하는 조합은 무엇인가?
• RQ3 AutoLoss 및 PCGrad와 같은 최적화 전략이 다섯 가지 작업으로 구성된 다중 작업 학습의 학습 안정성과 성능에 미치는 영향은 어떠한가?
• RQ4 다양한 음성 작업에서 단일 작업 학습 대비 다중 작업 학습이 성능 향상에 얼마나 기여하는가?
• RQ5 SpeechNet의 모듈러 아키텍처가 전이 학습 또는 메타학습과 같은 새로운 작업 또는 학습 전략을 통합하는 데 확장 가능한가?

주요 결과

• ASR 성능은 이중 작업 학습에서 크게 향상되며, 특히 SE, SC, TTS, 또는 VC와 함께 학습할 경우 내용 표현에 대한 강력한 지식 전이가 발생함을 시사한다.
• ASR와 함께 공동 학습할 경우 SE 성능이 약간 향상되며, 특히 PESQ 및 STOI 지표에서 두드러짐. 이는 프로소디 및 콘텐츠 신호가 강화에 기여함을 시사한다.
• TTS와 함께 학습할 경우 SC 성능 향상. 이는 텍스트-음성 생성 과정이 화자 특성 학습에 기여함을 의미한다.
• ASR와 함께 학습할 경우 VC 성능이 약간 향상되며, 이는 ASR에서 유도된 더 나은 콘텐츠 정렬이 음성 변환 품질 향상에 기여함을 시사한다.
• 기본 최적화 전략 하에서는 다섯 가지 작업 학습이 단일 작업 학습을 능가하지 못하지만, AutoLoss와 PCGrad를 동시에 사용할 경우 성능 안정성이 확보됨.
• 제거 실험 결과 최적화 전략 선택이 핵심임을 확인: PCGrad 없이 학습할 경우 SC는 수렴하지 못하며, PCGrad만 사용할 경우 ASR 성능이 가장 열 劣함. 이는 병합된 전략의 필요성을 강조함.