[논문 리뷰] A Spoofing Benchmark for the 2018 Voice Conversion Challenge: Leveraging from Spoofing Countermeasures for Speech Artifact Assessment

Tomi Kinnunen, Jaime Lorenzo-Trueba외 5명|arXiv (Cornell University)|2018. 04. 23.

Speech Recognition and Synthesis참고 문헌 6인용 수 3

한 줄 요약

이 논문은 음성 변환(VC) 시스템에서 음성 아티팩트를 평가하기 위해 스푸핑 방지 조치(CM)를 목적 함수로, 기준이 없는 방법으로 사용하는 것을 제안한다. 실생활 음성과 변환된 음성을 구분할 수 있도록 일정-Q 체프스트랄 계수(CQCC) 기반의 CM을 학습함으로써, 동등 오류 비율(EER)이 아티팩트 심각도의 대체 지표가 된다—낮은 EER일수록 더 식별 가능한 아티팩트를 의미한다. 주요 발견은 VCC'18 시스템 중 어느 것도 50%의 EER를 달성하지 못했으며, 이는 모든 시스템이 측정 가능한 아티팩트를 유발하고 있음을 시사한다. 특히 웨이브넷 기반 시스템은 청각적 품질이 뛰어나지만 높은 탐지 가능성(높은 EER)을 보이며, 아티팩트가 명백하지 않지만 기계 모델에선 식별 가능하다는 점을 보여준다.

ABSTRACT

Voice conversion (VC) aims at conversion of speaker characteristic without altering content. Due to training data limitations and modeling imperfections, it is difficult to achieve believable speaker mimicry without introducing processing artifacts; performance assessment of VC, therefore, usually involves both speaker similarity and quality evaluation by a human panel. As a time-consuming, expensive, and non-reproducible process, it hinders rapid prototyping of new VC technology. We address artifact assessment using an alternative, objective approach leveraging from prior work on spoofing countermeasures (CMs) for automatic speaker verification. Therein, CMs are used for rejecting `fake' inputs such as replayed, synthetic or converted speech but their potential for automatic speech artifact assessment remains unknown. This study serves to fill that gap. As a supplement to subjective results for the 2018 Voice Conversion Challenge (VCC'18) data, we configure a standard constant-Q cepstral coefficient CM to quantify the extent of processing artifacts. Equal error rate (EER) of the CM, a confusability index of VC samples with real human speech, serves as our artifact measure. Two clusters of VCC'18 entries are identified: low-quality ones with detectable artifacts (low EERs), and higher quality ones with less artifacts. None of the VCC'18 systems, however, is perfect: all EERs are < 30 % (the `ideal' value would be 50 %). Our preliminary findings suggest potential of CMs outside of their original application, as a supplemental optimization and benchmarking tool to enhance VC technology.

연구 동기 및 목표

• 주관적 청취 테스트를 초월해 표준화된 목적적 평가 지표가 부족한 문제를 해결하기 위해.
• 스푸핑 방지 조치(CM)가 원래 자동 화자 확인에서의 스푸핑 방지 목적 외에 음성 변환(VC)에서의 아티팩트 평가에 재사용될 수 있는지 탐색하기 위해.
• 주관적 MOS 점수의 참조가 없는, 텍스트에 의존하지 않는 대안을 제공하기 위해.
• VCC'18 챌린지에서 CM 기반 EER와 주관적 품질 평가(MOS) 간의 상관관계를 평가하기 위해.
• 웨이브넷과 같은 최신 기법을 포함한 VC 방법 중에서 아티팩트가 더 잘 드러나거나 덜 드러나는 시스템을 CM 기반 EER 지표로 규명하기 위해.

제안 방법

• 실생활 인간 음성과 변환된 음성에서 음향 특징을 추출하기 위해 표준 일정-Q 체프스트랄 계수(CQCC) 프론트엔드를 사용한다.
• 입력 음성 문장을 진짜(본래의) 또는 위조된(변환된) 음성으로 분류하기 위해 가우시안 믹스처 모델(GMM) 백엔드를 학습한다.
• 학습된 CM의 동등 오류 비율(EER)을 성능 지표로 산출하며, 낮은 EER일수록 아티팩트의 탐지 가능성은 높아진다.
• 기본 및 챌린지 시스템 출력을 사용하여 VCC'18 챌린지 참가자들의 결과를 평가하며, EER를 목적적 아티팩트 점수로 사용한다.
• 원본 화자 음성 웨이브폼이나 텍스트 전사본에 접근하지 않기 때문에, 이 방법은 참조가 없고 텍스트에 의존하지 않는다.
• 기계적 인식과 인간의 인식 간 상호보완성을 평가하기 위해, EER를 VCC'18 주관적 테스트에서의 주관적 MOS 점수와 비교한다.

실험 결과

연구 질문

• RQ1 스푸핑 방지 조치(CM)를 음성 변환 시스템에서의 음성 아티팩트 평가 목적의 목적적 지표로 효과적으로 재사용할 수 있는가?
• RQ2 VCC'18 데이터를 기반으로 학습한 CM의 EER은 인간 청취자로부터의 주관적 품질 평가(MOS)와 어떻게 상관관계가 있는가?
• RQ3 CM 기반 EER 지표에 따르면 어떤 VC 시스템이 가장 많이, 가장 적게 아티팩트를 유발하는가?
• RQ4 웨이브넷 기반 합성과 같은 현대적인 VC 기법은 청각적으로 자연스럽더라도, CM에 의해 탐지 가능한 아티팩트를 얼마나 많이 유발하는가?
• RQ5 CM 기반 EER는 시간이 오래 걸리는 주관적 평가에 비해 신뢰성 있고 재현 가능하며 효율적인 VC 벤치마킹의 대안이 될 수 있는가?

주요 결과

• 모든 VCC'18 시스템이 EER 값이 이상적인 50% 이하이므로, 아티팩트가 탐지 가능하다는 점에서 확인되었으며, 어떤 시스템도 CM을 완전히 속이지 못했다.
• 웨이브폼 필터링, SuperVP, Griffin-Lim 기반 생성을 사용한 시스템들은 낮은 EER(성능 향상)를 보이며, 더 적은 수의 탐지 가능한 아티팩트를 유발했다.
• 웨이브넷 기반 시스템은 높은 MOS 점수를 기록했음에도 불구하고 상대적으로 높은 EER를 보이며, 청각적으로 명백하지 않지만 기계 모델에선 식별 가능한 아티팩트를 유발한다는 점을 시사한다.
• EER 지표는 특징 선택과 모델 설정에 민감하게 반응했으며, 이는 CM 성능이 학습 및 하이퍼파라미터 설정에 의존한다는 점을 시사한다.
• CM 기반 EER와 주관적 MOS 간 강한 상관관계가 없음을 확인하여, 인간과 기계의 음성 품질 인식 방식이 상당히 다름을 확인했다.
• 이 연구는 갭을 드러내며, 현재 최첨단 VC 시스템은 인간 청취자를 속일 수 있지만 반드시 스푸핑 방지 조치를 속이진 못하므로, 아티팩트 최소화 측면에서 향상 여지가 있음을 시사한다.