[논문 리뷰] A Study of F0 Modification for X-Vector Based Speech Pseudonymization Across Gender

Pierre Champion, Denis Jouvet외 1명|arXiv (Cornell University)|2021. 01. 21.

Speech and Audio Processing인용 수 11

한 줄 요약

이 논문은 x-vector 기반 음성 가명화에서 기본 주파수(F0)를 수정하여 음성의 이해 가능성은 유지하면서도 개인정보 보호를 향상시키는 방법을 제안한다. 반대 성별의 대상 말하기자를 선택하면서 F0를 수정함으로써, 특히 여성 말하기자에 대해 연결 불가능성 성능을 크게 향상시켰으며, 음성 인식 정확도는 떨어뜨리지 않았다. 이는 F0 수정이 강력하고 성별 인식이 가능한 가명화를 가능하게 하는 핵심 요소임을 보여준다.

ABSTRACT

Speech pseudonymization aims at altering a speech signal to map the identifiable personal characteristics of a given speaker to another identity. In other words, it aims to hide the source speaker identity while preserving the intelligibility of the spoken content. This study takes place in the VoicePrivacy 2020 challenge framework, where the baseline system performs pseudonymization by modifying x-vector information to match a target speaker while keeping the fundamental frequency (F0) unchanged. We propose to alter other paralin-guistic features, here F0, and analyze the impact of this modification across gender. We found that the proposed F0 modification always improves pseudonymization We observed that both source and target speaker genders affect the performance gain when modifying the F0.

연구 동기 및 목표

• F0와 같은 부언적 특징의 수정을 통해 x-vector 기반 음성 데이터의 발화자 가명화를 향상시키고, 발화자 신원을 유지하는 신호를 유지한다.
• F0 수정이 남성 및 여성 말하기자 간 연결 불가능성 성능에 미치는 영향을 평가한다.
• F0 수정과 반대 성별 x-vector 선택을 조합함으로써 개인정보 보호 수준 향상 여부를 조사한다.
• 음성 신호의 신원 해제 동안 높은 음성 이해 가능성(WER로 측정)을 유지한다.
• F0 수정의 성능 향상이 성별에 따라 달라지는지 평가한다.

제안 방법

• 이 연구는 VoicePrivacy 2020 Baseline-1 시스템을 확장하여 x-vector 가명화와 음성 합성 단계 사이에 F0 수정 모듈을 추가한다.
• F0 값은 대상 말하기자의 성별에 맞게 수정되어 합성 음성의 어조 일관성을 확보한다.
• 가명화 파이프라인은 발화자 신원(x-vector), 언어적 내용(PPG), 어조(F0)를 분리하여, 가명화를 위해 오직 x-vector와 F0만 수정한다.
• 신경 음성 모델과 신경 웨이브폼 모델을 사용하여 수정된 특징에서 최종 가명화된 음성 웨이브폼을 합성한다.
• 실제 말하기자에서 가짜 말하기자로의 일대일 매핑을 강제하여 일관된 신원 은폐를 보장한다.
• 실험은 남성 및 여성 원천 말하기자에서 F0 수정 여부와 반대 성별 x-vector 선택 여부를 조합하여 비교한다.

실험 결과

연구 질문

• RQ1 기본 주파수(F0)를 수정하는 것이 x-vector 기반 시스템에서 가명화 성능을 향상시키는가?
• RQ2 원천 말하기자 및 대상 말하기자의 성별이 F0 수정의 효과에 미치는 영향은 어떠한가?
• RQ3 F0 수정과 반대 성별 x-vector 선택을 조합하면 원천-가명화 및 가명화-가명화 공격에 대해 연결 불가능성이 향상되는가?
• RQ4 F0 수정이 LibriSpeech에서 WER로 측정된 음성 이해 가능성에 어느 정도 영향을 미치는가?
• RQ5 F0 수정의 성능 향상 효과가 성별에 따라 다를까?

주요 결과

• F0 수정은 남성 및 여성 말하기자 모두에서 가명화 성능을 일관되게 향상시키며, 연결 불가능성 작업에서 등가 오류율(EER)을 감소시킨다.
• 여성 말하기자에 대해서는, F0 수정이 동성 또는 반대 성별 대상 x-vector 여부에 관계없이 연결 불가능성을 향상시키며, F0 수정과 반대 성별 선택을 동시에 적용했을 때 가장 큰 향상이 관찰된다.
• 남성 말하기자에 대해서는 F0 수정만으로 성능을 유지하거나 약간 향상시키지만, 반대 성별 x-vector 선택과 조합했을 때 가명화-가명화 공격 시나리오에서 최고의 성능을 기록한다.
• LibriSpeech 테스트 세트에서의 WER는 모든 구성에서 안정되어 있으며, 반대 성별 x-vector를 사용하지만 F0 수정이 없는 경우 가장 높은 WER(7.24%)를 기록하여 F0 정렬이 신호 일관성을 향상시킨다는 것을 시사한다.
• 여성 말하기자는 남성 말하기자보다 F0 수정에 더 민감하게 반응하므로, 최적의 가명화를 위해 성별에 맞는 튜닝이 필요할 수 있음을 시사한다.
• 결과적으로 F0 수정은 특히 대상 말하기자가 반대 성별일 경우, 어조 일관성의 손상을 방지하여 개인정보 보호를 악화시키는 요소를 차단하므로 강력한 가명화를 달성하기 위해 필수적임을 나타낸다.