[논문 리뷰] FairSSD: Understanding Bias in Synthetic Speech Detectors

Amit Kumar Singh Yadav, Kratika Bhagtani외 3명|arXiv (Cornell University)|2024. 04. 17.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 FairSSD를 소개하며, 성별, 연령, 억양, 언어 장애 등의 디모그라피 기반으로 여섯 가지 최신 합성 음성 검출기의 편향을 종합적으로 평가한다. 0.9백만 건이 넘는 진짜 음성 샘플을 사용한 연구에서 심각한 공정성 문제를 드러내며, 남성, 60대 어르신, 남아시아계 및 호주 영어 발음을 쓰는 사람, 난류가 있는 사람에게서 더 높은 위양성 비율을 보이며, 장애가 있는 음성에서 평균 EER가 5.29%에서 36.31%로 상승함으로써 현재의 검출 시스템에서 심각한 공정성 격차가 있음을 시사한다.

ABSTRACT

Methods that can generate synthetic speech which is perceptually indistinguishable from speech recorded by a human speaker, are easily available. Several incidents report misuse of synthetic speech generated from these methods to commit fraud. To counter such misuse, many methods have been proposed to detect synthetic speech. Some of these detectors are more interpretable, can generalize to detect synthetic speech in the wild and are robust to noise. However, limited work has been done on understanding bias in these detectors. In this work, we examine bias in existing synthetic speech detectors to determine if they will unfairly target a particular gender, age and accent group. We also inspect whether these detectors will have a higher misclassification rate for bona fide speech from speech-impaired speakers w.r.t fluent speakers. Extensive experiments on 6 existing synthetic speech detectors using more than 0.9 million speech signals demonstrate that most detectors are gender, age and accent biased, and future work is needed to ensure fairness. To support future research, we release our evaluation dataset, models used in our study and source code at https://gitlab.com/viper-purdue/fairssd.

연구 동기 및 목표

• 합성 음성 검출기가 특정 성별, 연령, 억양에 대해 디모그라픽 편향을 보이는지 조사하기 위해.
• 검출기가 난류가 있는 사람들의 진짜 음성(특히 난류가 있는 사람)을 합성 음성으로 잘못 분류하는지 평가하기 위해.
• 대규모이고 다양한 음성 코퍼스를 사용하여 기존 검출기의 공정성 격차를 정량화하기 위해.
• 향후 연구를 지원하기 위해 종합적인 평가 데이터셋, 모델, 코드를 공개하기 위해.

제안 방법

• 연구는 Mozilla Common Voice와 Sep-28K에서 수집한 0.9백만 건의 진짜 음성 샘플로 구성된 정제된 데이터셋을 기반으로 여섯 가지 기존 합성 음성 검출기를 평가한다.
• 디모그라픽 그룹은 성별(남성/여성), 연령(청소년, 20대, 30대, 40대, 50대, 60대), 억양(예: 남아시아계, 호주 영어, 미국 영어, 영국 영어)으로 정의된다.
• 편향을 측정하기 위해 각 디모그라픽 하위군에 대해 위양성 비율(FPR)과 동등 오류 비율(EER)을 계산하며, 임계값은 독립 평가 세트에서 유도된다.
• 통계 분석을 통해 다양한 디모그라픽 그룹 간의 FPR과 EER를 비교하여 검출기 성능에 대한 유의미한 격차를 식별한다.
• 실제 환경에서의 검출 시나리오와 표준화된 지표를 사용한 통제된 비교를 모두 포함한다.
• 모든 모델, 데이터셋, 코드는 GitLab을 통해 공개되어 재현성과 향후 공정성 연구를 지원한다.

실험 결과

연구 질문

• RQ1 합성 음성 검출기가 특정 성별 집단에서 더 높은 위양성 비율을 보이는가?
• RQ2 노령층(예: 60대)의 음성은 젊은 층보다 합성 음성으로 잘못 분류될 가능성이 더 높은가?
• RQ3 남아시아계나 호주 영어와 같은 특정 지역 억양 간에 성능 격차가 뚜렷한가?
• RQ4 난류가 있는 사람들의 진짜 음성에 대해 검출기가 위양성 비율이 높은 편향을 보이는가?
• RQ5 검출기의 디모그라픽 편향이 실제 적용 시의 신뢰성과 공정성에 얼마나 심각하게 악영향을 미치는가?

주요 결과

• 합성 음성 검출기는 뚜렷한 성별 편향을 보이며, 남성 발화자에서 여성 대비 평균 FPR이 1.27% 상승한다.
• 60대 연령 그룹은 20대 그룹 대비 평균 FPR이 1.27% 상승하여 연령 기반 편향이 있음을 시사한다.
• 남아시아계와 호주 영어 억양 그룹이 가장 높은 FPR 상승을 보이며, 미국 영어 대비 평균 FPR 차이가 각각 1.03%와 1.27%이다.
• 난류가 있는 음성에서 EER가 급격히 상승하여 유창한 음성에서의 5.29%에서 장애가 있는 음성에서 36.31%로 상승함으로써, 언어 장애가 있는 사람에 대한 심각한 편향이 있음을 나타낸다.
• 고정 임계값을 사용할 경우, 난류가 있는 음성에서 모든 검출기의 평균 FPR이 70%를 초과하여 진짜 음성이 합성 음성으로 잘못 분류됨을 확인한다.
• 검출기 D05는 난류가 있는 음성에서 EER 상승이 가장 높아 11.00%였으며, D04는 모든 디모그라픽 그룹에서 가장 일관된 편향을 보였다.