[논문 리뷰] Global Rhythm Style Transfer Without Text Transcriptions

Kaizhi Qian, Yang Zhang외 5명|arXiv (Cornell University)|2021. 06. 16.

Speech Recognition and Synthesis참고 문헌 42인용 수 12

한 줄 요약

이 논문은 텍스트 전사나 세분화된 프로소디 애너테이션 없이 리듬과 음고를 분리하는 비지도 학습 기반 자동에코더 프레임워크인 AutoPST를 제안한다. 자기표현적 표현 학습을 유도하는 리듬 제거 모듈과 이중 단계 학습 전략을 활용함으로써 AutoPST는 음성 영역 간에 프로소디, 특히 리듬을 효과적으로 전이하며, 주관적 유사도와 세밀한 리듬 복원 측면에서 기존의 베이스라인들을 크게 능가한다.

ABSTRACT

Prosody plays an important role in characterizing the style of a speaker or an emotion, but most non-parallel voice or emotion style transfer algorithms do not convert any prosody information. Two major components of prosody are pitch and rhythm. Disentangling the prosody information, particularly the rhythm component, from the speech is challenging because it involves breaking the synchrony between the input speech and the disentangled speech representation. As a result, most existing prosody style transfer algorithms would need to rely on some form of text transcriptions to identify the content information, which confines their application to high-resource languages only. Recently, SpeechSplit has made sizeable progress towards unsupervised prosody style transfer, but it is unable to extract high-level global prosody style in an unsupervised manner. In this paper, we propose AutoPST, which can disentangle global prosody style from speech without relying on any text transcriptions. AutoPST is an Autoencoder-based Prosody Style Transfer framework with a thorough rhythm removal module guided by the self-expressive representation learning. Experiments on different style transfer tasks show that AutoPST can effectively convert prosody that correctly reflects the styles of the target domains.

연구 동기 및 목표

• 텍스트 전사나 국소 프로소디 애너테이션에 의존하지 않고 음성에서 전역 프로소디 스타일을 전이하는 문제를 해결하기 위해.
• 내용을 유지하면서 스타일을 수정하는 동안 음성 표현에서 리듬과 음고 성분을 비지도 방식으로 분리하기 위해.
• 텍스트 전사가 이용 불가능한 저자원 또는 제로자원 언어 환경에서 효과적인 프로소디 전이를 가능하게 하기 위해.
• 특히 화자나 감정 스타일 전이 작업에서 리듬과 말속도 측면에서 프로소디 전이의 주관적 품질과 정확도를 향상시키기 위해.
• 도메인 특화의 참조 프로소디 데이터가 필요 없이 다양한 스타일 전이 응용 분야, 예를 들어 음성 및 감정 스타일 전이에 일반화 가능한 프레임워크를 개발하기 위해.

제안 방법

• AutoPST는 두 단계 학습 프로세스를 통해 음성의 콘텐츠, 톤, 프로소디 성분으로 분해하는 자동에코더 기반 프레임워크이며, 리듬이 콘텐츠 표현에 유입되지 않도록 방지한다.
• 자기표현적 표현 학습을 유도하는 새로운 리듬 제거 모듈을 도입하여, 모델이 압축되고 분리된 리듬 패턴 표현을 학습하도록 유도한다.
• 자기표현적 표현 학습 구성 요소는 각 음성 표현이 다른 표현들의 선형 조합으로 표현될 수 있도록 강제함으로써 강건하고 분리된 리듬 모델링을 촉진한다.
• 유사한 콘텐츠이지만 다른 스타일의 잠재 코드를 정렬하기 위해 대조 손실을 사용하여 스타일 전이 중 콘텐츠 유지 보장을 보장한다.
• 이중 단계 학습 전략은 먼저 리듬 제거를 통해 콘텐츠 재구성하는 모델을 학습한 후, 목표 도메인으로 프로소디를 전이할 수 있도록 미세조정한다.
• 모델은 재구성 손실, 대조 손실, 사이클 일致성 손실의 조합을 사용해 엔드 투 엔드로 훈련되며, 충실한 스타일 전이를 보장한다.

실험 결과

연구 질문

• RQ1 텍스트 전사나 세분화된 프로소디 애너테이션 없이도 전역 프로소디 스타일 전이를 달성할 수 있는가?
• RQ2 음성의 음소 전사와의 정렬에 의존하지 않고도 자기표현적 표현 학습 접근법이 리듬을 효과적으로 분리할 수 있는가?
• RQ3 제안된 AutoPST 프레임워크가 기존의 비지도 베이스라인들보다 주관적으로 뛰어난 프로소디 전이 성능을 달성하는가?
• RQ4 AutoPST는 전반적인 말속도 조정을 넘어서, 비정상적으로 긴 단어와 같은 세밀한 리듬 패턴을 복원할 수 있는가?
• RQ5 감정 전용 참조 프로소디 데이터에 접근할 수 없는 비평행 감정 스타일 전이 작업에 대해 AutoPST는 어느 정도 일반화 가능한가?

주요 결과

• 주관적 평가 결과 AutoPST는 AutoVC나 RR보다 목표 화자에 더 가까운 것으로 평가되어 프로소디 유사도 측면에서 기존 베이스라인들을 크게 능가한다.
• 화자 스타일 전이에서 AutoPST는 리듬과 음고 윤곽의 효과적인 전이를 보여주며, 기존 베이스라인들보다 상당히 높은 프로소디 유사도 점수를 기록한다.
• AutoPST는 'yellow'와 같이 두 배로 늘어난 단어를 원래 길이로 복원함으로써 비정상적으로 긴 단어를 성공적으로 복원하여 세밀한 리듬 패턴 인식 능력을 입증한다.
• 감정 스타일 전이에서 AutoPST는 빠른(중립)과 느린(졸린) 감정 간 상대적 지속 시간 차이를 양수 값으로 유지함으로써 정확한 리듬 전이를 보여주며, 기존 베이스라인들은 이를 성취하지 못한다.
• AutoPST는 AutoVC와 유사한 강력한 톤 유사도를 유지하며, 프로소디 전이가 톤 품질을 손상시키지 않음을 보여주며, 전체적으로 더 높은 주관적 유사도를 달성한다.
• 모델은 예측 불가능한 감정 카테고리와 화자 정체성에도 잘 일반화되어 있어, 다양한 도메인 간 강건성과 이식 가능성을 보여준다.