[논문 리뷰] Adversarial representation learning for private speech generation

David Ericsson, Adam Östberg외 3명|arXiv (Cornell University)|2020. 06. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 14

한 줄 요약

이 논문은 음성의 민감한 속성(예: 성별)을 메르스펙트로그램 도메인에서 필터링하고 이를 합성된 비공개 속성으로 대체함으로써 음성에서 성별과 같은 민감한 속성을 은폐하는 이단계적 생성 대비 네트워크인 PCMelGAN을 제안한다. 이 방법은 강력한 프라이버시(성별 추론 정확도가 약 50%)를 달성하면서도 음성의 유용성(숫자 인식 정확도 >80%)을 유지하고 있으며, 기준 방법 대비 FID 점수를 50% 이상 감소시켜 현실적인 오디오를 생성한다.

ABSTRACT

As more and more data is collected in various settings across organizations, companies, and countries, there has been an increase in the demand of user privacy. Developing privacy preserving methods for data analytics is thus an important area of research. In this work we present a model based on generative adversarial networks (GANs) that learns to obfuscate specific sensitive attributes in speech data. We train a model that learns to hide sensitive information in the data, while preserving the meaning in the utterance. The model is trained in two steps: first to filter sensitive information in the spectrogram domain, and then to generate new and private information independent of the filtered one. The model is based on a U-Net CNN that takes mel-spectrograms as input. A MelGAN is used to invert the spectrograms back to raw audio waveforms. We show that it is possible to hide sensitive information such as gender by generating new data, trained adversarially to maintain utility and realism.

연구 동기 및 목표

• 기계 학습 시스템이 처리하는 음성 데이터에서 성별, 신원 등 민감한 속성이 의도치 않게 유출되는 데 대한 우려가 증가하고 있는 데 대응하기 위해.
• 음성 인식과 같은 후행 작업에 대해 높은 유용성을 유지하는 프라이버시 보장 음성 생성 방법을 개발하기 위해.
• 음성 모프링과 음성 변환의 한계를 극복하여, 화자 의도나 억양을 변경하지 않은 채 현실적이며 비공개적인 음성을 생성하기 위해.
• 후행 작업에 종속되지 않고 임의의 범주형 민감한 속성에 일반화 가능한 방법을 설계하기 위해.

제안 방법

• 모델은 민감한 속성을 메르스펙트로그램 도메인에서 필터링하기 위해 유-넷 기반 인코더-디코더 아키텍처를 사용한다.
• 별도의 생성 모듈이 원래의 민감한 속성(예: 성별)의 새로운 합성된 비공개 표현을 생성하여 대체한다.
• 이 프레임워크는 이단계 생성 대비 학습 설정을 사용한다: 첫 번째 단계에서 필터 모듈이 민감한 정보를 제거하고, 두 번째 단계에서 생성 모듈이 이를 합성된 독립적인 데이터로 대체한다.
• 수정된 메르스펙트로그램을 원래 오디오 웨이브폼으로 복원하기 위해 사전 학습된 MelGAN을 사용한다.
• 신호의 정밀도를 제어하기 위해 왜곡 예산 ε를 포함한 비제약 최적화 문제로 공식화된다.
• 모델은 생성 대비 손실을 사용해 종단 간 엔드포인트로 훈련되며, 현실성과 프라이버시를 보장하면서도 의미적 내용을 유지한다.

실험 결과

연구 질문

• RQ1 생성 대비 네트워크 기반 모델이 음성에서 성별과 같은 민감한 속성을 효과적으로 은폐하면서도 발화의 의미적 내용을 유지할 수 있는가?
• RQ2 단순한 필터링 대비 합성 속성 생성 모듈을 추가함으로써 프라이버시와 유용성은 얼마나 향상되는가?
• RQ3 은폐 후 모델이 오디오의 현실성과 청각적 품질을 어느 정도 유지하는가?
• RQ4 왜곡 예산 ε가 프라이버시와 음성 유용성 간의 상호 보완적 관계에 미치는 영향은 어떠한가?
• RQ5 이 방법은 성별 외의 다른 범주형 민감한 속성으로 일반화될 수 있는가?

주요 결과

• 필터링된 스펙트로그램에서 성별 분류 정확도가 거의 무작위 수준(48.7±2.4%)에 도달하여 강력한 프라이버시 보존이 이루어졌음을 시사한다.
• PCMelGAN 설정 하에서 숫자 인식 유용성은 여전히 높은 수준(81.1±3.7%)을 유지하여 의미적 내용 보존이 이루어졌음을 보여준다.
• 왜곡 예산 ε=0.005일 때 생성된 오디오의 FID 점수는 10.12±3.15로 기준 방법(20.17±4.04) 대비 50% 향상된 결과를 기록한다.
• 더 높은 왜곡 예산(ε=0.1)에서도 강력한 프라이버시(49.8±0.5% 성별 정확도)를 유지하면서 중간 수준의 유용성(15.1±5.4% 숫자 정확도)을 확보한다.
• 정성적 결과에서는 생성된 음성이 청각적으로 현실적이며 억양과 내용을 유지하고 있으며, 음질에 눈에 띄는 열화가 없음을 확인할 수 있다.
• 단순한 필터링 대비 합성 속성 생성 모듈의 추가로 FID 점수와 听력 테스트를 통해 오디오의 현실성과 정밀도가 크게 향상됨을 확인할 수 있다.