[논문 리뷰] Exploring the Importance of F0 Trajectories for Speaker Anonymization using X-vectors and Neural Waveform Models

Ünal Ege Gaznepoglu, Nils Peters|arXiv (Cornell University)|2021. 10. 13.

Speech Recognition and Synthesis참고 문헌 15인용 수 5

한 줄 요약

이 논문은 X-vector 및 신경 음성파형 모델을 사용한 발화자 익명화에서 기본 주파수(F0) 궤적 수정이 미치는 영향을 조사한다. 저자들은 저복잡도 디지털 신호 처리(DSP) 기법—특히 무작위 보행 노이즈—를 F0에 적용한 후 재합성함으로써, 음성 이해도(WER)에 미미한 손실로 약 8% 향상된 익명화 성능(ASV EER 기준)을 달성하였다. 이는 F0 조작이 음성 프라이버시 시스템을 향상시키는 잠재력 있는, 아직 탐색되지 않은 방향임을 시사한다.

ABSTRACT

Voice conversion for speaker anonymization is an emerging field in speech processing research. Many state-of-the-art approaches are based on the resynthesis of the phoneme posteriorgrams (PPG), the fundamental frequency (F0) of the input signal together with modified X-vectors. Our research focuses on the role of F0 for speaker anonymization, which is an understudied area. Utilizing the VoicePrivacy Challenge 2020 framework and its datasets we developed and evaluated eight low-complexity F0 modifications prior resynthesis. We found that modifying the F0 can improve speaker anonymization by as much as 8% with minor word-error rate degradation.

연구 동기 및 목표

• 음성 프라이버시 연구에서 아직 탐색되지 않은 분야인 F0 궤적의 역할을 조사하기 위해.
• 저복잡도 F0 수정 기법이 익명화 성능(ASV EER)과 음성 이해도(WER)에 미치는 영향을 평가하기 위해.
• F0 조작이 현재의 F0를 무시하는 최첨단 시스템을 초월해 익명화를 향상시킬 수 있는지 판단하기 위해.
• F0 수정이 익명화 성능 향상을 유지하면서도 복원 가능하거나 청각적으로 투명하게 만들 수 있는지 평가하기 위해.
• F0를 제어 가능한 신호로 활용해 음성 품질을 떨어뜨리지 않은 채 프라이버시를 향상시키는 것이 가능한지 탐색하기 위해.

제안 방법

• 연구는 X-vector 및 신경 음성파형 모델 기반의 기준 시스템을 사용한 VoicePrivacy Challenge 2020 프레임워크를 활용한다.
• 8종의 저복잡도 F0 수정 기법을 설계: 평탄화, 스퍼링 보간, 정현파 변조, 다양한 강도의 무작위 보행 노이즈.
• 기준 시스템과 동일한 신경 음성 및 파형 모델을 사용하여 재합성 이전에 F0 궤적을 수정한다.
• 익명화된 출력물은 목적도 metric으로 평가되며, 'OA' 및 'AA' 시나리오 모두에서 ASV 성능(EER)과 ASR 성능(WER)을 측정한다.
• 기준 성능과 다양한 주파수 세트 및 진폭 수준에서 수정된 F0 궤적 간의 성능을 비교하는 실험을 수행한다.
• 무작위 보행 노이즈 방법은 음성 인식 오류를 줄이기 위해 후처리 스무딩을 통해 개선되었다.

실험 결과

연구 질문

• RQ1 F0 궤적 수정이 기준 시스템을 초월해 발화자 익명화 성능을 향상시키는가?
• RQ2 다양한 F0 수정 기법이 익명화(ASV EER)와 이해도(WER) 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ3 익명화 성능 향상을 유지하면서도 F0 수정이 청각적으로 투명하게 만들 수 있는가?
• RQ4 기준 시스템이 왜 F0 궤적을 익명화하지 못하는가? 그리고 F0에서 발생하는 신원 泄露의 특성은 무엇인가?
• RQ5 F0에 무작위 보행 노이즈를 적용하는 것이 음성 프라이버시 향상에 실현 가능하고, 복원 불가능한 방법이 될 수 있는가?

주요 결과

• 무작위 보행 노이즈를 사용한 F0 수정은 'OA' EER 점수 기준 기준 시스템 대비 최대 8% 향상된 익명화 성능을 달성하였다.
• 'random-walk-strong' 방법은 도메인 적대적 오토인코더를 포함한 최첨단 X-vector 수정 기법과 비교해 유사하거나 더 우수한 익명화 성능을 보였다.
• 'random-walk-weak' 방법은 WER 및 훈련 데이터셋 EER에서 이동 및 스케일링 기준과 유사한 성능을 보였으며, 복원 저항성은 더 뛰어났다.
• 정현파 F0 변조는 눈에 띄는 비브라토 잡음으로 이어져 청각 품질을 떨어뜨렸지만, 무작위 보행 노이즈는 낮은 진폭에서 청각적으로 들리지 않았다.
• F0 간의 발화 간 변동성을 증가시키는 수정(예: 무작위 보행)은 'AA' EER 점수를 낮춰, 등록 데이터가 익명화된 상황에서도 익명화 성능을 유지함을 시사한다.
• 무작위 보행 노이즈에 대한 후처리 스무딩은 비자연스러운 F0 변동성을 줄였으며 익명화 성능 향상을 유지하였다. 이는 청각적으로 견고한 F0 조작의 길을 제시한다.