[논문 리뷰] Contrastive Predictive Coding Based Feature for Automatic Speaker Verification

Cheng-I Lai|arXiv (Cornell University)|2019. 04. 01.

Speech Recognition and Synthesis참고 문헌 12인용 수 21

한 줄 요약

이 논문은 자동 화자 확인(ASV)에서 전통적인 음성 특징 대신 대비 예측 코드(CPC) 특징을 사용하는 것을 제안한다. CPC는 대비 학습을 통해 미래 음성 프레임을 예측함으로써 강건한 표현을 학습하며, 특히 평균 풀링을 사용할 경우 뛰어난 성능을 보인다. 이는 단순 요약 기법을 사용할 경우 CPC 특징이 MFCC보다 EER에서 뛰어나지만, i-벡터와 조합할 경우 명확히 MFCC를 능가하지는 않아, CPC는 평균 풀링보다 더 적합한 집계 방법(예: x-벡터)이 필요할 수 있음을 시사한다.

ABSTRACT

This thesis describes our ongoing work on Contrastive Predictive Coding (CPC) features for speaker verification. CPC is a recently proposed representation learning framework based on predictive coding and noise contrastive estimation. We focus on incorporating CPC features into the standard automatic speaker verification systems, and we present our methods, experiments, and analysis. This thesis also details necessary background knowledge in past and recent work on automatic speaker verification systems, conventional speech features, and the motivation and techniques behind CPC.

연구 동기 및 목표

• 대비 예측 코드(CPC) 특징이 자동 화자 확인을 위한 효과적인 표현으로 기능할 수 있는지 조사하는 것.
• 평균 풀링 및 i-벡터와 같은 다양한 요약 기법을 통해 전통적인 MFCC와의 비교에서 CPC 특징의 성능을 평가하는 것.
• i-벡터 기반 화자 확인 시스템에서 CPC 특징과 MFCC 특징이 상호 보완적인가를 판단하는 것.
• 분포 불일치 문제로 인해 i-벡터가 CPC 특징의 요약 방법으로서 최적일 수 없는 이유를 탐구하는 것.
• 향후 연구 방향, 예를 들어 SRE16, CPC x-벡터, 언어 식별, 도메인 적응 등에 대한 제안

제안 방법

• CPC는 원시 음성 웨이브포맷에 적용되어 예측 코드와 노이즈 대비 추정을 통해 계층적이고 맥락 인식 표현을 학습한다.
• 공유 인코더를 통해 특징을 추출한 후, 맥락화된 표현과 미래 프레임 예측 간의 상호정보량을 최대화하는 대비 손실을 사용한다.
• LibriSpeech 데이터에서 추출한 CPC 특징은 후속 화자 확인을 위해 평균 풀링 또는 i-벡터 추출을 통해 요약된다.
• 시험-클린-100에서 등오차율(EER)과 DET 곡선을 사용해 화자 확인을 평가하였으며, 공식 trial 목록이 없어 수동으로 trial을 구성하였다.
• 대부분의 경우, 밀도 비율을 추정하기 위해 노이즈 대비 추정(NCE)을 사용하여 지도 학습 없이 표현 학습을 가능하게 하였다.
• i-벡터 기반 시스템에서 성능 향상을 위해 CPC와 MFCC 특징의 융합을 탐색하였다.

실험 결과

연구 질문

• RQ1 CPC 특징은 자동 화자 확인 시스템에서 MFCC와 경쟁적 또는 슈퍼어리어 성능을 달성할 수 있는가?
• RQ2 CPC 특징의 성능은 특히 i-벡터와 비교할 때 요약 방법의 선택에 따라 달라지는가?
• RQ3 i-벡터 기반 화자 확인 시스템에서 CPC와 MFCC 특징을 융합했을 때 상호 보완적인 정보를 제공하는가?
• RQ4 평균 풀링과 비교할 때 i-벡터와 함께 사용할 경우 CPC 특징이 MFCC보다 명백한 이점을 보이지 않는 이유는 무엇인가?
• RQ5 CPC 표현은 언어 식별이나 화자 인식의 도메인 적응과 같은 후속 작업에 효과적으로 활용될 수 있는가?

주요 결과

• CPC 특징은 LibriSpeech 시험-클린-100에서 평균 풀링을 사용할 경우 3.76%의 낮은 등오차율(EER)을 기록하여, 평균 풀링을 사용한 MFCC보다 뛰어난 성능을 보였다.
• i-벡터를 사용할 경우, CPC 특징는 MFCC와 비교해 명확한 이점이 없었으며, EER은 각각 4.05%와 4.02%로 유사한 성능를 보였다. 이는 i-벡터가 CPC 표현에 최적의 방법이 아닐 수 있음을 시사한다.
• i-벡터를 사용한 CPC와 MFCC 특징 융합은 3.78%의 EER을 기록하여, 개별 특징보다 낮은 성능을 보였으며, 이는 두 특징 간의 보완적 정보를 확인할 수 있었다.
• 시각화 결과, CPC 특징는 MFCC보다 더 전반적이고 맥락이 풍부한 패턴을 포착하고 있음을 보여, 강건한 표현 학습 잠재력을 뒷받침한다.
• 결과적으로 CPC 특징는 다중 정규분포를 따르지 않음을 확인했으며, 이는 i-벡터가 이러한 분포를 가정하기 때문에 i-벡터에서의 성능 저하를 설명할 수 있다.
• 향후 연구로 SRE16, CPC x-벡터, 언어 식별, 도메인 적응 등에 대한 계획이 수립되어 있어, 더 넓은 적용 잠재력이 있음을 시사한다.