[논문 리뷰] Unsupervised Adaptation of SPLDA

Jesús Villalba|arXiv (Cornell University)|2015. 11. 20.

Speech Recognition and Synthesis참고 문헌 2인용 수 3

한 줄 요약

이 논문은 레이블이 없는 데이터만을 사용하여 비지도 도메인 적응을 위한 변분 베이즈 방법을 제안한다. 스피커 정체성을 딜리클레 prior를 가진 잠재 변수로 모델링하고 SPLDA 파라미터에 대한 사후 분포를 추론함으로써, 레이블이 없는 데이터가 주어진 저자원 또는 도메인 불일치 상황에서도 스피커 인식 성능을 향상시킨다.

ABSTRACT

State-of-the-art speaker recognition relays on models that need a large amount of training data. This models are successful in tasks like NIST SRE because there is sufficient data available. However, in real applications, we usually do not have so much data and, in many cases, the speaker labels are unknown. We present a method to adapt a PLDA model from a domain with a large amount of labeled data to another with unlabeled data. We describe a generative model that produces both sets of data where the unknown labels are modeled like latent variables. We used variational Bayes to estimate the hidden variables. Here, we derive the equations for this model. This model has been used in the papers: "UNSUPERVISED ADAPTATION OF PLDA BY USING VARIATIONAL BAYES METHODS" publised at ICASSP 2014, "Unsupervised Training of PLDA with Variational Bayes" published at Iberspeech 2014, and "VARIATIONAL BAYESIAN PLDA FOR SPEAKER DIARIZATION IN THE MGB CHALLENGE" published at ASRU 2015.

연구 동기 및 목표

• 레이블이 없는 데이터만 존재할 때 새로운 도메인에 맞게 SPLDA 모델을 적응시키는 문제를 해결한다.
• 레이블이 부족한 저자원 또는 도메인 불일치 상황에서 스피커 인식 성능을 향상시킨다.
• 스피커 정체성과 SPLDA 파라미터를 레이블이 없는 데이터에서 동시에 추정하는 베이지안 프레임워크를 개발한다.
• i-vector 평균, 고유음성, 내부 클래스 정밀도에 대한 불확실성을 공액 prior를 통해 모델링하여 강건한 SPLDA 적응을 가능하게 한다.
• 고유음성의 사후 정밀도 추정을 통해 최적의 스피커 요인 수를 원리적으로 추론할 수 있는 방법을 제공한다.

제안 방법

• 스피커 요인, i-vector 평균, 내부 클래스 정밀도에 대해 공액 prior를 사용한 베이지안 계층 모델로 SPLDA를 설정한다.
• 비지도 데이터 세트의 스피커 정체성을 대칭 딜리클레 prior를 가진 잠재 범주형 변수로 모델링한다.
• 잠재 변수(스피커 정체성, 파라미터)의 사후 분포를 근사하기 위해 변분 베이즈를 사용하며, 주변 가능도의 하한을 최대화한다.
• 기대 전파와 뉴턴-라프슨 최적화를 통해 하이퍼파rameter(예: $a_\alpha$, $b_\alpha$)의 폐쇄형 업데이트를 유도한다.
• 정규-역위샤르트 및 감마 하이퍼파라미터를 사용해 $\mathbf{\mu}$와 $\mathbf{V}$에 대한 사전 정보를 통합하여 파라미터 추정을 정규화한다.
• 레이블이 없는 i-vector에서 계산된 충분통계량(예: $\mathbf{F}_i$, $\overline{\mathbf{S}}_i$)을 활용하여 사후 기대값을 효율적으로 계산한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터에서 스피커 정체성과 SPLDA 파라미터를 동시에 추론할 수 있는 베이지안 프레임워크는 적응 성능 향상에 기여하는가?
• RQ2 레이블이 없는 데이터만을 사용해 적응할 때 제안된 방법의 스피커 인식 정확도는 어떠한가?
• RQ3 모델의 불확실성 추정(예: $\mathbf{V}$와 $\mathbf{W}$의 사후 분산)은 데이터 품질과 레이블 신뢰성과 관련이 있는가?
• RQ4 각 고유음성 성분 $\mathbf{v}_q$의 사후 정밀도 $\mathrm{E}[\alpha_q]$는 최적의 스피커 요인 수 $n_y$를 추론하는 데 사용될 수 있는가?
• RQ5 하이퍼파rameter 업데이트(예: $a_\alpha$, $b_\alpha$)는 낮은 데이터 환경에서 파라미터 추정의 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 레이블이 없는 적응 데이터가 전혀 필요 없이도 SPLDA 적응 성능을 향상시킨다.
• $\mathbf{V}$와 $\mathbf{W}$의 사후 분산은 스피커 수와 세그먼트 수가 증가함에 따라 감소하여 파라미터 추정의 신뢰도가 향상됨을 나타낸다.
• 모델은 레이블 불확실성을 감지한다: 스피커 레이블이 잘못되었을 경우, 정확한 레이블보다 $\mathbf{V}$의 사후 분산이 증가한다.
• 각 고유음성 성분 $\mathbf{v}_q$의 사후 정밀도 $\mathrm{E}[\alpha_q]$는 최적의 스피커 요인 수 $n_y$를 원리적으로 추론하는 데 유용하다.
• 변분 베이즈를 통한 하이퍼파라미터 최적화는 특히 낮은 데이터 환경에서 안정적이고 강건한 파라미터 추정을 가능하게 한다.
• 공액 prior와 폐쇄형 업데이트를 활용하여 효율적인 추론이 가능해져, 대규모 레이블이 없는 i-vector 세트에 대해서도 스케일이 가능하다.