[논문 리뷰] MCE 2018: The 1st Multi-target Speaker Detection and Identification Challenge Evaluation (MCE) Plan, Dataset and Baseline System

Suwon Shon, Najim Dehak외 2명|arXiv (Cornell University)|2018. 07. 17.

Speech Recognition and Synthesis참고 문헌 1인용 수 3

한 줄 요약

이 논문은 실제 전화 통화 데이터에서 i-벡터를 사용한 다중 대상 대상자 감지 및 식별 벤치마크인 MCE 2018 챌린지를 소개한다. Top-S(동료 감지)와 Top-1(대상자 식별) 메트릭을 사용한 이중 단계 평가를 제안하며, 기준 시스템은 i-벡터 추출, GMM-UBM 모델링 및 다중 대상 점수 정규화(M-Norm)를 통해 3,631명의 대상자에 대한 블랙리스트 대상자 감지 및 식별 작업에서 성능을 향상시킨다.

ABSTRACT

The Multitarget Challenge aims to assess how well current speech technology is able to determine whether or not a recorded utterance was spoken by one of a large number of 'blacklisted' speakers. It is a form of multi-target speaker detection based on real-world telephone conversations. Data recordings are generated from call center customer-agent conversations. Each conversation is represented by a single i-vector. Given a pool of training and development data from non-Blacklist and Blacklist speakers, the task is to measure how accurately one can detect 1) whether a test recording is spoken by a Blacklist speaker, and 2) which specific Blacklist speaker was talking.

연구 동기 및 목표

• 실제 전화 통화 데이터를 사용한 다중 대상 대상자 감지 및 식별 분야에서 최신 기술 수준을 평가하기 위해.
• 음성 세그먼트가 3,631명의 블랙리스트 대상자 중 누구의 것인지 감지하고, 해당 경우 특정 대상자를 식별하기 위한 벤치마크를 설정하기 위해.
• 고정된 훈련 조건과 개방된 훈련 조건을 모두 제공하여 공정한 시스템 성능 비교를 위한 표준화된 평가 프레임워크를 제공하기 위해.
• 대상자 집합이 크고 사전에 알려지지 않은 현실 조건에서의 대상자 확인 연구를 촉진하기 위해.
• 훈련, 개발, 평가를 위해 사용할 수 있는 8,631명의 대상자(3,631명의 블랙리스트, 5,000명의 배경)에서 유도된 i-벡터 데이터셋을 공개하기 위해.

제안 방법

• 600차원의 i-벡터는 8kHz, 20ms 프레임 오디오에서 4,096개 성분을 가진 GMM-UBM을 보편 배경 모델로 사용하여 추출되었다.
• 훈련 세트에는 3,631명의 블랙리스트 대상자(각각 3개의 발화)와 5,000명의 배경 대상자(최소 4개의 발화)가 포함되어 있으며, 개발 세트에는 각 블랙리스트 및 배경 대상자당 1개의 발화가 포함되어 있다.
• 테스트 세트에는 대상자 레이블이 없어 실제 운영 조건을 시뮬레이션한다.
• 기준 시스템은 블랙리스트 대상자 간 점수를 표준화하기 위해 다중 대상 점수 정규화(M-Norm)를 사용하며, 이는 $ y_i' = \frac{score(C_i,x) - \mu_M(i)}{\sigma_M(i)} $ 로 정의되며, 여기서 $ \mu_M(i) $ 및 $ \sigma_M(i) $ 는 대상자 $ C_i $ 의 점수 평균과 표준편차이다.
• 성능 평가는 Top-S(동료 감지) 및 Top-1(식별) 검출기 모두에 대해 등오차율(EER)을 사용하며, 각각에 대해 별도의 오차 정의가 적용된다.
• 참가 팀은 최대 6개의 결과 파일을 제출할 수 있으며, 시스템 설명은 PDF 형식으로 제출되어야 하며, 발화 ID, 점수, 가장 가까운 블랙리스트 대상자 ID를 포함한 표준화된 제출 형식을 사용한다.

실험 결과

연구 질문

• RQ1 시스템은 실제 전화 통화에서 3,631명의 블랙리스트 대상자 중 누구의 발화인지 감지하는 데 얼마나 잘 성능을 내는가?
• RQ2 발화가 동료 집단에 속해 있을 경우, 시스템은 특정 블랙리스트 대상자를 얼마나 정확히 식별할 수 있는가?
• RQ3 다중 대상 점수 정규화(M-Norm)는 원시 점수 대비 감지 및 식별 성능을 얼마나 향상시키는가?
• RQ4 외부 데이터를 사용하는 경우(개방 조건)와 제공된 데이터만 사용하는 경우(고정 조건)의 성능 향상은 어느 정도인가?
• RQ5 다양한 시스템 구성과 데이터 사용 전략은 다중 대상 대상자 감지 및 식별에서 EER에 어떤 영향을 미치는가?

주요 결과

• MCE 2018 챌린지는 실제 콜 센터 데이터에서 유도된 i-벡터를 사용하여 3,631명의 블랙리스트 대상자와 5,000명의 배경 대상자를 포함한 현실적인 벤치마크를 제공한다.
• Top-S 검출기는 동료 감지 기반의 EER 성능을 달성하며, 입력이 블랙리스트 대상자 중 누구의 것인지 여부를 판단한다.
• Top-1 검출기는 정확한 감지와 정확한 식별을 모두 포함한 EER 성능을 달성하며, 혼동 오차는 명시적으로 모델링되어 있다.
• 기준 시스템은 M-Norm를 사용하여 블랙리스트 대상자 간 점수를 정규화하여 감지 및 식별 작업의 강인성과 성능을 향상시킨다.
• 평가 프레임워크는 고정 조건(제공된 데이터만 사용)과 개방 조건(외부 데이터 허용)을 모두 지원하여 시스템 간 강인성 비교 분석을 가능하게 한다.
• 챌린지는 시스템 설명과 팀당 최대 6개의 결과 파일을 요구하는 제출 프로토콜을 포함하며, 결과는 레이블이 없는 은닉 테스트 세트에서 평가된다.