[논문 리뷰] Emotionless: Privacy-Preserving Speech Analysis for Voice Assistants

Ranya Aloufi, Hamed Haddadi외 1명|arXiv (Cornell University)|2019. 08. 09.

Emotion and Mood Recognition참고 문헌 21인용 수 16

한 줄 요약

이 논문은 감정 정보를 클라우드 서비스로의 전송 이전에 제거함으로써 민감한 감정 정보를 제거하는 프라이버시 보장 음성 변환 프레임워크인 Emotionless를 제안한다. CycleGAN 기반의 특징 추출기와 WORLD 음성 합성기(보정기)를 사용하여 감정 인식 정확도를 약 96% 감소시키면서도 음성 및 발화자 인식에 대해 높은 유용성을 유지하며, 음성 인식의 WER는 35%에 불과하고 발화자 식별의 EER은 0.12% 증가에 그친다.

ABSTRACT

Voice-enabled interactions provide more human-like experiences in many popular IoT systems. Cloud-based speech analysis services extract useful information from voice input using speech recognition techniques. The voice signal is a rich resource that discloses several possible states of a speaker, such as emotional state, confidence and stress levels, physical condition, age, gender, and personal traits. Service providers can build a very accurate profile of a user's demographic category, personal preferences, and may compromise privacy. To address this problem, a privacy-preserving intermediate layer between users and cloud services is proposed to sanitize the voice input. It aims to maintain utility while preserving user privacy. It achieves this by collecting real time speech data and analyzes the signal to ensure privacy protection prior to sharing of this data with services providers. Precisely, the sensitive representations are extracted from the raw signal by using transformation functions and then wrapped it via voice conversion technology. Experimental evaluation based on emotion recognition to assess the efficacy of the proposed method shows that identification of sensitive emotional state of the speaker is reduced by ~96 %.

연구 동기 및 목표

• 음성 신호에서 감정, 스트레스 또는 건강 상태와 같은 민감한 특성을 추론할 수 있는 음성 보조 기기의 프라이버시 위험을 해결하기 위해.
• 내용 및 발화자 신원을 유지하면서도 감정 상태와 같은 민감한 부언적 정보를 제거하는 시스템을 개발하기 위해.
• 실제 IoT 응용 프로그램에서 프라이버시 보호와 음성 인식 성능 간의 상호 교환 관계를 평가하기 위해.
• 사용자와 클라우드 서비스 사이에 실시간으로 작동하는 실용적인 중간 계층을 제공하여 음성 입력을 익명화하면서도 사용성에 영향을 주지 않기 위해.

제안 방법

• 원시 음성 신호에서 민감한 부언적 특징(예: 감정)을 추출하기 위해 CycleGAN 아키텍처를 사용한다.
• 추출된 특징을 기반으로 원래 음성을 중립적인 감정 상태를 가진 프라이버시 보장 버전으로 변환하는 음성 변환 모델을 훈련시킨다.
• 최신 기술의 보정기(WORLD)를 사용하여 변환된 특징에서 변환된 음성 신호를 재구성함으로써 언어적 내용을 유지한다.
• 실시간으로 오디오를 처리하여 엣지 디바이스에 배포할 수 있도록 한다.
• 프레임워크는 RAVDESS 데이터셋을 사용하여 평가되며, 주요 프라이버시 메트릭으로 감정 인식 정확도를 사용한다.
• 음성 인식과 발화자 식별 성능은 각각 단어 오류율(WER)과 등가 오류율(EER)로 측정된다.

실험 결과

연구 질문

• RQ1 음성 변환 시스템은 음성의 감정 상태를 효과적으로 은폐하면서도 음성의 내용과 발화자 신원을 유지할 수 있는가?
• RQ2 제안된 방법은 음성 인식 및 발화자 식별 성능에 어느 정도 악영향을 미치는가?
• RQ3 이 프레임워크는 유용성에 영향을 주지 않으면서 감정 인식 모델의 정확도를 얼마나 효과적으로 감소시키는가?
• RQ4 이 시스템은 실시간으로 자원이 제한된 엣지 디바이스에 배포되어 실질적인 IoT 응용 프로그램에 활용될 수 있는가?

주요 결과

• Emotionless 프레임워크를 적용한 후 감정 인식 정확도가 약 96% 감소하여 감정 상태에 대한 강력한 프라이버시 보호 효과를 입증하였다.
• 음성 인식 성능은 최소한의 영향을 받았으며, RAVDESS 데이터셋에서 평균 단어 오류율(WER)이 35%에 그쳤다.
• 발화자 식별 성능은 거의 영향을 받지 않아 등가 오류율(EER) 증가 폭이 단지 0.12%에 그쳤다.
• 프레임워크는 민감한 부언적 특징을 효과적으로 익명화하면서도 언어적 내용과 발화자 신원을 성공적으로 유지하였다.
• 핵심 음성 분석 작업에 대해 높은 유용성을 유지함으로써, 음성 기반 IoT 시스템의 실질적 구현에 적합하다.
• 결과적으로 음성 변환이 클라우드 기반 음성 분석에서 프라이버시와 유용성의 균형을 이루는 데 효과적인 기법이 될 수 있음을 시사한다.