[논문 리뷰] The distribution of calibrated likelihood-ratios in speaker recognition

David A. van Leeuwen, Niko Brümmer|arXiv (Cornell University)|2013. 04. 03.

Speech Recognition and Synthesis참고 문헌 14인용 수 8

한 줄 요약

이 논문은 말하기 인식에서 校정된 로그-우도비의 분포가 정규분포를 따를 수 있는 이론적 조건을 도출하며, 비대상 점수 분포가 정규분포일 경우, 대상 점수 분포도 동일한 분산과 반대 평균을 가진 정규분포여야 한다고 보여준다. 이는 비대상 점수 분포가 정규분포일 경우, 대상 점수 분포도 정규분포여야 하며, 분산은 동일하고 평균은 반대여야 한다는 것을 의미한다. 이 논문은 이론적 조건을 바탕으로 반복 최적화를 피하는 폐쇄형 선형 校정 방법(CMLG)을 제안하며, 다양한 i-vector PLDA 시스템에서 로지스틱 회귀와 유사한 성능을 달성한다. 특히 점수 분포가 약간 정규분포에 가까운 경우에 뛰어난 성능을 보인다.

ABSTRACT

This paper studies properties of the score distributions of calibrated log-likelihood-ratios that are used in automatic speaker recognition. We derive the essential condition for calibration that the log likelihood ratio of the log-likelihood-ratio is the log-likelihood-ratio. We then investigate what the consequence of this condition is to the probability density functions (PDFs) of the log-likelihood-ratio score. We show that if the PDF of the non-target distribution is Gaussian, then the PDF of the target distribution must be Gaussian as well. The means and variances of these two PDFs are interrelated, and determined completely by the discrimination performance of the recognizer characterized by the equal error rate. These relations allow for a new way of computing the offset and scaling parameters for linear calibration, and we derive closed-form expressions for these and show that for modern i-vector systems with PLDA scoring this leads to good calibration, comparable to traditional logistic regression, over a wide range of system performance.

연구 동기 및 목표

• 캘리브레이션된 로그-우도비 점수 분포가 말하기 인식에서 정규분포를 따를 수 있는 이론적 조건을 이해하는 것.
• 캘리브레이션 조건 하에서 대상 및 비대상 점수 분포 간의 필수 관계를 유도하는 것.
• 반복 최적화를 피하는 정규분포 가정 기반의 새로운 선형 캘리브레이션 방법을 개발하는 것.
• 다양한 시스템 구성에서 전통적인 로지스틱 회귀와의 성능 비교를 수행하는 것.

제안 방법

• 핵심 캘리브레이션 조건으로서 우도비의 등幂성(idempotence)을 정의: 로그-우도비의 로그-우도비는 원래 로그-우도비와 동일해야 한다.
• 이 등幂성 조건 하에서 점수 분포에 대한 수학적 제약 조건을 도출하며, 대상 및 비대상 분포가 동일한 분산과 반대 평균을 가진 정규분포여야 한다고 보여준다.
• 유도된 평균과 분산 간의 관계를 바탕으로 폐쇄형 선형 캘리브레이션 방법(CMLG)을 제안하며, 이는 동일 오류율(EER)에 의해 매개변수화된다.
• 이 방법을 i-vector PLDA 시스템에 적용하고, $C_{\rm llr}$ 및 $C_{\rm primary}$와 같은 지표를 사용해 캘리브레이션 성능을 비교한다.
• NIST SRE12 데이터를 사용해 방법을 검증하고, 다양한 사전 확률 및 시스템 성능에서의 강인성을 평가한다.
• 수치적 적분을 통해 정규분포 가정 하에서 $C_{\rm llr}$와 EER 간의 관계를 유도하며, 최적화 없이도 EER에서 직접 $C_{\rm llr}$를 계산할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 말하기 인식에서 캘리브레이션된 로그-우도비 점수 분포가 정규분포를 따를 수 있는 조건은 무엇인가?
• RQ2 캘리브레이션 조건 하에서 대상 및 비대상 점수 분포의 평균과 분산 간의 수학적 관계는 무엇인가?
• RQ3 정규분포 가정에서 유도된 폐쇄형 선형 캘리브레이션 방법이 로지스틱 회귀와 같은 반복 최적화 방법의 성능을 달성할 수 있는가?
• RQ4 제안된 방법의 성능는 다양한 시스템 구성 및 사전 확률에 따라 어떻게 변화하는가?
• RQ5 실제 점수 분포가 이론적 모델에서 요구하는 정규분포 가정을 어느 정도 충족하는가?

주요 결과

• 비대상 점수 분포가 정규분포일 경우, 캘리브레이션 조건 하에서 대상 점수 분포도 동일한 분산과 반대 평균을 가진 정규분포여야 한다.
• CMLG 캘리브레이션 방법은 25개 조건에서 평균 $C_{\rm llr}$가 0.375를 기록하며, 로지스틱 회귀의 0.376과 거의 동일한 성능을 보였다.
• 정확한 사전 확률 $\alpha$를 선택할 경우, 다양한 시스템 및 사전 확률에서 CMLG 방법은 로지스틱 회귀와 유사한 $C_{\rm primary}$ 성능을 보였다.
• 정규분포 적분을 통한 $C_{\rm llr}$와 EER 간의 이론적 관계는 최소 $C_{\rm llr}$와의 루트 평균 제곱 오차가 단지 0.006에 불과하여 매우 정확한 근사치를 제공한다.
• 실제 점수 분포는 정규분포 가정을 엄밀히 따르지 않으며, DET 곡선이 완전히 $45^\circ$가 아니기 때문이다. 그러나 i-vector PLDA 시스템은 약간의 정규분포 성향을 보였다.
• 비정규분포 점수 분포에 대해서는 CMLG 방법을 권장하지 않으며, 이는 폐쇄형 해를 도출하는 데 정규분포 가정이 핵심이기 때문이다.