[논문 리뷰] Joint Probabilistic Linear Discriminant Analysis

Luciana Ferrer|arXiv (Cornell University)|2017. 04. 07.

Speech Recognition and Synthesis참고 문헌 4인용 수 7

한 줄 요약

이 논문은 내재된 소음 변수(예: 채널, 언어, 발화 스타일 등)에 따라 내부 발화 변동성을 독립적으로 가정하는 대신 이를 종속적으로 모델링하는 일반화된 PLDA 모델인 공동 확률적 선형 판별 분석(J-PLDA)을 제안한다. 점수 평가 시 알려지지 않은 채널 식별자를 통합하여 평균화함으로써, 테스트 시 채널 레이블이 필요로 하지 않더라도 동일 채널 대비 다른 채널 시험에 대한 내성적 강건성을 향상시킨다.

ABSTRACT

Standard probabilistic linear discriminant analysis (PLDA) for speaker recognition assumes that the sample's features (usually, i-vectors) are given by a sum of three terms: a term that depends on the speaker identity, a term that models the within-speaker variability and is assumed independent across samples, and a final term that models any remaining variability and is also independent across samples. In this work, we propose a generalization of this model where the within-speaker variability is not necessarily assumed independent across samples but dependent on another discrete variable. This variable, which we call the channel variable as in the standard PLDA approach, could be, for example, a discrete category for the channel characteristics, the language spoken by the speaker, the type of speech in the sample (conversational, monologue, read), etc. The value of this variable is assumed to be known during training but not during testing. Scoring is performed, as in standard PLDA, by computing a likelihood ratio between the null hypothesis that the two sides of a trial belong to the same speaker versus the alternative hypothesis that the two sides belong to different speakers. The two likelihoods are computed by marginalizing over two hypothesis about the channels in both sides of a trial: that they are the same and that they are different. This way, we expect that the new model will be better at coping with same-channel versus different-channel trials than standard PLDA, since knowledge about the channel (or language, or speech style) is used during training and implicitly considered during scoring.

연구 동기 및 목표

• 표준 PLDA가 샘플 간 내부 발화 변동성을 독립적으로 가정하는 한계를 해결하기 위해, 채널, 언어, 발화 스타일과 같은 이산적 소음 변수에 따라 종속성을 도입한다.
• 학습 시 알려진 소음 변수 레이블을 활용하지만, 테스트 시에는 이를 통합하여 평균화하는 학습 및 점수 평가 프레임워크를 개발한다.
• 채널 조건의 변화, 언어의 다양성, 또는 발화 스타일의 차이가 있는 상황에서, 이러한 요소들을 잠재 공간에 명시적으로 모델링하여 발화자 인식 성능을 향상시킨다.
• 표준 PLDA를 발화자 인식을 넘어서, 학습 시에 이산적으로 식별 가능한 소음 변동성이 존재하는 모든 작업으로 일반화한다.

제안 방법

• 모델은 i-벡터 표현을 $ m_i = Vy_{s_i} + Ux_{c_i} + z_i $ 로 재정의한다. 여기서 $ x_{c_i} $ 는 동일한 채널 레이블 $ c_i $ 을 가진 샘플 간에 공유되며, 이는 샘플 간에 i.i.d. 가정이 아닌 구조를 가진다.
• 발화자 및 채널 요인의 공동 사전확률은 $ p(Y,X) \propto \exp(-\frac{1}{2}\sum_s y_s^T y_s - \frac{1}{2}\sum_c x_c^T x_c) $ 로 모델링되며, 표준 정규 사전확률을 가정한다.
• 학습은 기대치 기반 최대화(EM) 알고리즘을 통해 수행되며, 공유된 채널 요인에 의해 유도된 종속성을 반영하기 위해 모든 샘플에 대한 완전한 우도를 계산한다.
• 점수 평가는 동일 채널($ H_{SS} $)과 다른 채널($ H_{DS} $)이라는 두 가설에 대해 알려지지 않은 채널 식별자를 통합하여 계산된 우도 비율(LR)을 사용한다.
• 발화자 변수에 대한 외부 사후확률은 데이터로부터 유도된 충분통계량과 정밀도 행렬을 사용하여 계산되며, 로그우도비에 대한 닫힌 형태의 표현식이 제공된다.
• 채널 변수에 대한 내부 사후확률은 다변량 정규분포 근사법을 통해 계산되며, 변환된 데이터와 구조화된 정밀도 행렬을 사용하여 종속성 구조를 처리한다.

실험 결과

연구 질문

• RQ1 샘플 간 채널 변동성을 종속적으로 모델링하는 것이, 독립적인 채널 요인을 가정하는 표준 PLDA 대비 발화자 인식 성능 향상에 기여하는가?
• RQ2 학습 시에는 이산적 소음 변수(예: 채널 또는 언어)의 레이블이 알려져 있지만 테스트 시에는 알려지지 않은 상황에서 일반화된 PLDA 모델을 어떻게 학습하고 점수를 평가할 수 있는가?
• RQ3 점수 평가 시 알려지지 않은 채널 식별자를 통합하여 평균화함으로써, 우도 비율 추정의 강건성에 어떤 영향을 미치는가?
• RQ4 잠재 공간 내에서 발화자 및 채널 요인을 공동으로 모델링할 경우, 발화자 특화 및 채널 특화 성분의 추정에 어떤 영향을 미치는가?

주요 결과

• 제안된 J-PLDA 모델은 샘플 간 채널 요인의 종속성을 명시적으로 모델링함으로써 채널 변동성에 대한 강건성을 향상시켜, 동일 채널 대비 다른 채널 시험에 대한 처리 능력을 향상시킨다.
• 모델은 점수 평가 시 알려지지 않은 채널 식별자를 통합하여 평균화할 수 있어, 테스트 시 채널 레이블이 필요로 하지 않더라도 학습 시에 습득한 채널 정보를 여전히 활용할 수 있다.
• 로그우도비(LLR)에 대한 닫힌 형태의 표현식이 유도되었으며, 이는 각각 발화자 변수에 대한 외부 사후확률과 채널 변수에 대한 내부 사후확률로 분해된다.
• 이 방법은 표준 PLDA를 다국어 발화자 인식 또는 마이크로폰 유형을 사용한 언어 인식과 같이 학습 시 이산적으로 식별 가능한 소음 변수가 존재하는 모든 작업으로 일반화할 수 있다.
• EM 알고리즘과 정규분포 통합을 사용한 효율적인 학습 및 점수 평가 프레임워크를 제공하며, 잠재 변수의 사후확률과 같은 핵심 구성 요소에 대해 분석적 해법을 제공한다.
• 이 방법은 발화자 인식을 넘어서 이미지 기반 개인 인식 또는 소음 변동성을 이산적으로 분류할 수 있는 모든 작업에 적용 가능하다.