[논문 리뷰] Enhancements for Audio-only Diarization Systems

Dimitrios Dimitriadis|arXiv (Cornell University)|2019. 08. 30.

Speech Recognition and Synthesis참고 문헌 22인용 수 7

한 줄 요약

이 논문은 d-벡터 특징에 비선형 필터링을 통한 시간적 스무딩을 도입하고, 개선된 손실 함수를 통해 딥 임bed디드 클러스터링(DEC) 알고리즘을 향상시켜 오직 음성만을 사용하는 화자 다이어라이제이션 성능을 향상시켰다. 화자 수가 알려진 조건에서 AMI와 DIHARD에서 각각 20%와 19%의 상대적 성능 향상을 달성했으며, 통제된 조건에서 기준 클러스터링 방법과 최신 기술을 뛰어넘는 성능을 보였다.

ABSTRACT

In this paper two different approaches to enhance the performance of the most challenging component of a Speaker Diarization system are presented, i.e. the speaker clustering part. A processing step is proposed enhancing the input features with a temporal smoothing process combined with nonlinear filtering. We, also, propose improvements on the Deep Embedded Clustering (DEC) algorithm -- a nonlinear feature transformation. The performance of these enhancements is compared with different clustering algorithms, such as the UISRNN, k-Means, Spectral clustering and x-Means. The evaluation is held on three different tasks, i.e. the AMI, DIHARD and an internal meeting transcription task. The proposed approaches assume a known number of speakers and time segmentations for the audio files. Since, we focus only on the clustering component of diarization for this work, the segmentation provided is assumed perfect. Finally, we present how supervision, in the form of given speaker profiles, can further improve the overall diarization performance. The proposed enhancements yield substantial relative improvements in all 3 tasks, with 20\% in AMI and 19\% better than the best diarization system for DIHARD task, when the number of speakers is known.

연구 동기 및 목표

• 짧은 세그먼트와 리버버버레이션 등의 도전적인 조건에서 오직 음성만을 사용하는 화자 클러스터링의 성능을 향상시키는 것.
• k-평균, 스펙트럴 클러스터링, x-평균 등의 기존 클러스터링 알고리즘의 한계를 보완하기 위해 특징 수준의 사전 처리와 알고리즘 개선을 도입하는 것.
• 세그먼트 길이가 클러스터링 성능에 미치는 영향, 특히 짧은 음성 세그먼트(<1.5초)에서의 영향을 조사하는 것.
• 더 나은 일반화 능력과 더불어 더 부드러운 클러스터링 행동을 유도하기 위해 정규화 항을 포함한 수정된 손실 함수를 도입하여 딥 임베디드 클러스터링(DEC) 알고리즘을 향상시키는 것.
• 알려진 화자 수와 화자 프로파일을 통한 감독 정보가 전체 다이어라이제이션 성능에 미치는 영향을 평가하는 것.

제안 방법

• 클러스터링 이전에 d-벡터 특징에 시간적 스무딩과 중앙값 필터링을 적용하여 노이즈를 감소시키고 시간적 일관성을 향상시키는 것.
• 더 나은 일반화 능력과 더 부드러운 클러스터링 행동을 유도하기 위해 정규화 항을 포함한 수정된 손실 함수를 DEC 알고리즘에 도입하는 것.
• 비선형 특징 추출을 위해 자동에코더 기반의 볼트넥 레이어를 사용하여 비관련 정보를 필터링하고, 압축되며 구분력 있는 화자 표현을 학습하는 것.
• 대부분의 모델이 짧은 세그먼트에서 성능이 떨어지므로, 먼저 더 긴 음성 세그먼트에서 DEC 모델을 훈련시켜 표현 학습 능력을 향상시키고, 이후 짧은 세그먼트에 적용하는 것.
• 오라클 세그먼테이션과 알려진 화자 수 조건에서 제안된 개선 사항을 k-평균, 스펙트럴 클러스터링, x-평균, UISRNN과 비교하는 것.
• x-평균에서 자동 클러스터 수 추정을 위해 베이지안 정보 기준(BIC)을 사용하지만, 화자 수가 알려지지 않은 경우 성능이 저하됨.

실험 결과

연구 질문

• RQ1 d-벡터의 시간적 필터링이 짧은 세그먼트에서 화자 다이어라이제이션의 클러스터링 성능에 어떤 영향을 미치는가?
• RQ2 DEC 알고리즘의 손실 함수 개선이 클러스터링 정확도와 내구성에 얼마나 기여하는가?
• RQ3 긴 훈련 세그먼트를 사용할 경우 짧은 세그먼트에 대한 클러스터링 모델의 성능에 어떤 영향을 미치는가?
• RQ4 클러스터링 중에 수를 추정하는 것과 비교해 화자 수가 알려진 경우 성능 향상은 어느 정도 이루어지는가?
• RQ5 향상된 클러스터링과 함께 화자 프로파일 형태의 감독 정보가 다이어라이제이션 결과를 추가로 향상시킬 수 있는가?

주요 결과

• 제안된 시간적 필터링과 d-벡터의 중앙값 평균화는 원래 DEC 대비 AMI 작업에서 클러스터링 성능을 22% 상대적으로 향상시켰다.
• 개선된 DEC 알고리즘은 원래 DEC 대비 6.5% 상대적 향상과 최고의 베이스라인(Spectral Clustering) 대비 19% 상대적 향상을 달성했다.
• DIHARD 작업에서 화자 수가 알려진 조건에서 제안된 시스템은 최신 기술 대비 19.5% 상대적 향상(18.17% DER에서 15.05% DER로)을 달성했다.
• 1.5초 이상의 세그먼트만 사용할 경우 전체 세그먼트를 포함한 경우 대비 62% 상대적 성능 향상을 기록했으며, 모든 세그먼트를 사용했을 때의 최적 성능의 31.4%를 복구했다.
• k-평균과 x-평균 간의 성능 격차는 뚜렷했으며(k-평균에서 19% 향상), 이는 시스템에서 화자 수를 알고 있는 것이 중요함을 시사한다.
• 사전 처리와 결합된 개선된 DEC 모델은 기준 방법 대비 클러스터링 성능을 최대 31% 향상시켰으며, 손실 함수 수정의 효과를 입증했다.