[논문 리뷰] Measuring the Effectiveness of Voice Conversion on Speaker Identification and Automatic Speech Recognition Systems

Gokce Keskin, Tyler Lee외 2명|arXiv (Cornell University)|2019. 05. 29.

Speech Recognition and Synthesis참고 문헌 20인용 수 6

한 줄 요약

이 논문은 사이클-GAN 기반 음성 변환기(VC)가 자동 음성 식별(SID) 시스템에서 대상 화자를 모의할 능력과 자동 음성 인식(ASR) 학습에 대한 데이터 증강 효과를 평가한다. SID 시스템에서 최대 46%의 상위 1 정확도를 달성했음에도 불구하고, VC로 생성된 합성 데이터를 ASR 학습에 추가해도 단어 오류율과 문자 오류율 향상이 미미하여, 강력한 스타일 모의성에도 불구하고 ASR 데이터 증강에 대한 효용성은 제한적임을 시사한다.

ABSTRACT

This paper evaluates the effectiveness of a Cycle-GAN based voice converter (VC) on four speaker identification (SID) systems and an automated speech recognition (ASR) system for various purposes. Audio samples converted by the VC model are classified by the SID systems as the intended target at up to 46% top-1 accuracy among more than 250 speakers. This encouraging result in imitating the target styles led us to investigate if converted (synthetic) samples can be used to improve ASR training. Unfortunately, adding synthetic data to the ASR training set only marginally improves word and character error rates. Our results indicate that even though VC models can successfully mimic the style of target speakers as measured by SID systems, improving ASR training with synthetic data from VC systems needs further research to establish its efficacy.

연구 동기 및 목표

• 자동 음성 식별(SID) 시스템이 측정하는 바에 따라 사이클-GAN 기반 음성 변환기가 대상 화자를 성공적으로 모의할 수 있는지 평가하는 것.
• 합성 음성 변환 데이터가 자동 음성 인식(ASR) 시스템의 학습 데이터 증강에 효과적으로 기여할 수 있는지 조사하는 것.
• 다양한 SID 시스템 아키텍처—i-vector 기반 및 딥러닝 기반—이 음성 변환된 오디오 샘플에 대해 어떻게 반응하는지 비교하는 것.
• VC로 생성된 합성 데이터의 양을 변화시켰을 때 ASR 모델의 오류율(WER 및 CER)에 미치는 영향을 평가하는 것.
• 합성 데이터를 사용할 때 높은 SID 분류 정확도와 낮은 ASR 성능 향상 간의 괴리 현상을 이해하는 것.

제안 방법

• 291명의 화자 데이터로 훈련된 사이클-GAN 기반 음성 변환기를 사용하여, 병렬 데이터나 텍스트 전사 없이도 원천 발화를 대상 화자의 스타일로 변환한다.
• 독립적인 4개의 SID 시스템—i-vector 기반 2개와 딥러닝 기반 2개—을 활용해 변환된 오디오 샘플을 분류하고 모의 성공률를 측정한다.
• ASR 시스템은 리비어스피치의 train-clean-100 데이터셋에서 16명의 화자에 대한 서브셋을 사용하여 딥 스피치 2 아키텍처로 훈련한다. 실제 및 변환된 발화를 모두 활용한다.
• 합성 데이터는 선택된 16명의 화자 간 발화를 상호 변환하여 생성되며, 언어적 내용은 유지하면서 콘텐츠 다양성을 증가시킨다.
• 훈련 세트는 최대 400%의 합성 데이터로 증강되며, 보류된 테스트 세트에서 WER 및 CER를 사용해 ASR 성능을 평가한다.
• 두 가지 평가 시나리오를 비교한다: 실제 테스트 발화에 직접 추론하는 것과, 훈련 시 스타일에 맞게 테스트 발화를 변환한 후 추론하는 것.

실험 결과

연구 질문

• RQ1 사이클-GAN 기반 음성 변환기가 자동 음성 식별(SID) 시스템이 측정하는 바에 따라 대상 화자를 성공적으로 모의할 수 있는가?
• RQ2 음성 변환 데이터가 ASR 모델 성능 향상에 있어 학습 데이터 증강으로서 얼마나 효과적인가?
• RQ3 i-vector 대비 딥러닝 기반 SID 시스템 아키텍처는 음성 변환된 오디오 샘플에 대해 어떻게 반응하는가?
• RQ4 합성 음성 변환 데이터의 크기가 증가함에 따라, 합성 데이터로 훈련된 ASR 모델의 성능은 일관되게 향상되는가?
• RQ5 왜 음성 변환된 오디오에 대해 높은 SID 분류 정확도가 유지되지만, ASR 성능 향상은 미미한가?

주요 결과

• 음성 변환기는 291명의 후보자 중에서 의도한 대상 화자를 상위 1 정확도로 분류하는 데 최대 46%의 정확도를 달성하여 강력한 스타일 모의 능력을 입증했다.
• 일부 SID 시스템에서 상위 10 정확도가 70%를 초과하여, 다양한 자동 분류기 간 일관된 모의 성공률를 보였다.
• 딥러닝 기반 SID 모델이 i-vector 모델보다 변환된 오디오를 대상 화자로 더 높은 비율로 분류하여, 미세한 음성 아티팩트에 더 민감할 수 있음을 시사했다.
• ASR 훈련 세트에 합성 음성 변환 데이터를 추가했을 때도 단어 오류율(WER)과 문자 오류율(CER) 향상이 미미했으며, 합성 데이터 비율이 100%를 초과하면 성능 향상은 사라졌다.
• 테스트 발화를 먼저 훈련 시 스타일에 맞게 변환한 후 ASR 추론을 수행한 경우, 직접 추론보다 오류율이 유의미하게 높아, '변환 후 추론' 접근법이 효과적이지 않음을 보여주었다.
• 결과적으로, 높은 SID 분류 정확도에도 불구하고 합성 음성 변환 데이터가 ASR 훈련에 실질적인 이점을 제공하지 못함을 시사하며, 합성 데이터 품질과 모델 일치성 향상을 위한 추가 연구가 필요하다고 판단된다.