[논문 리뷰] Advances in integration of end-to-end neural and clustering-based diarization for real conversational speech

Keisuke Kinoshita, Marc Delcroix외 1명|arXiv (Cornell University)|2021. 05. 19.

Speech Recognition and Synthesis참고 문헌 19인용 수 4

한 줄 요약

이 논문은 오버랩된 말이 있는 장기적 실생활 대화 음성과 임의의 수의 화자에 대응하기 위해 종료형 신경망 다이어라이제이션(EEND)과 클러스터링 기반 방법을 통합한 하이브리드 화자 다이어라이제이션 프레임워크인 EEND-벡터 클러스터링을 제안한다. 고정 길이 블록에 EEND를 적용하고 블록 간 레이블 순서 뒤바꿈을 해결하기 위해 제약 조건이 있는 클러스터링을 사용함으로써, 6명의 화자로 구성된 CALLHOME 데이터에서 상태의 기준(SOTA) DER 12.22%를 달성하였으며, EDA-EEND 및 x-vector 클러스터링을 능가한다.

ABSTRACT

Recently, we proposed a novel speaker diarization method called End-to-End-Neural-Diarization-vector clustering (EEND-vector clustering) that integrates clustering-based and end-to-end neural network-based diarization approaches into one framework. The proposed method combines advantages of both frameworks, i.e. high diarization performance and handling of overlapped speech based on EEND, and robust handling of long recordings with an arbitrary number of speakers based on clustering-based approaches. However, the method was only evaluated so far on simulated 2-speaker meeting-like data. This paper is to (1) report recent advances we made to this framework, including newly introduced robust constrained clustering algorithms, and (2) experimentally show that the method can now significantly outperform competitive diarization methods such as Encoder-Decoder Attractor (EDA)-EEND, on CALLHOME data which comprises real conversational speech data including overlapped speech and an arbitrary number of speakers. By further analyzing the experimental results, this paper also discusses pros and cons of the proposed method and reveals potential for further improvement. A set of the code to reproduce the results is available at https://github.com/nttcslab-sp/EEND-vector-clustering.

연구 동기 및 목표

• 기존의 다이어라이제이션 방법이 장기 기록, 오버랩된 말, 임의의 수의 화자를 처리하는 데에 한계를 보이는 문제를 해결하기 위해.
• 실생활 대화 음성 데이터, 특히 CALLHOME 데이터셋에서 EEND-벡터 클러스터링 프레임워크의 성능을 평가하기 위해.
• 향상된 클러스터링 기법과 침묵 중인 화자 탐지 기능을 통해 실제 환경에서의 강인성을 향상시키기 위해.
• 하이브리드 방식으로 EEND와 클러스터링 기반 접근법을 통합할 경우 실제 데이터에서 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 장기 기록을 관리하기 위해 입력 음성을 고정 길이의 블록(예: 15초에서 50초)으로 분할한다.
• 각 블록에 종료형 신경망 다이어라이제이션(EEND)을 적용하여 프레임 단위의 화자 레이블을 예측하고 글로벌 화자 임베딩 벡터를 추출한다.
• 블록 간 레이블 순서 뒤바꿈을 해결하기 위해 반드시 연결(Must-link) 및 연결 불가능(Cannot-link) 제약 조건을 강제하는 제약 조건이 있는 응집형 클러스터링(Constrained AHC) 알고리즘을 사용한다.
• 화자 수 계산은 EDA-EEND 아키텍처를 사용하여 각 블록에서 수행되며, 추정된 화자 수가 클러스터링을 안내하는 데 사용된다.
• 침묵 중인 화자 탐지를 통합하여 블록 간에 활동이 없는 화자를 식별함으로써 강인성을 향상시킨다.
• 제약 조건이 있는 클러스터링 알고리즘은 모든 블록의 화자 임베딩 벡터를 입력으로 사용하며, EEND 예측에서 유도된 제약 조건을 통해 화자 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 EEND-벡터 클러스터링 프레임워크는 오버랩된 말과 변동하는 화자 수를 포함한 실생활 대화 음성 데이터인 CALLHOME와 같은 데이터에서 뛰어난 성능을 낼 수 있는가?
• RQ2 블록 간 레이블 순서 뒤바꿈이 존재하는 상황에서, 제약 조건이 있는 클러스터링은 제약 조건이 없는 클러스터링이나 오라클 클러스터링에 비해 다이어라이제이션 성능을 어떻게 향상시키는가?
• RQ3 블록 크기가 다이어라이제이션 정확도에 미치는 영향은 무엇인가? 특히 높은 화자 전환 빈도가 있는 짧은 블록 시나리오에서 어떻게 되는가?
• RQ4 실제 회의 데이터에서 EDA-EEND, x-vector 클러스터링, RPNSD와 같은 최신 기술과 비교할 때, 제안된 방법은 어떻게 성능을 내는가?

주요 결과

• 30초 블록을 사용할 경우, EEND-벡터 클러스터링 방법은 6명의 화자로 구성된 CALLHOME 데이터에서 다이어라이제이션 오류율(DER) 12.22%를 기록하였으며, 오라클 화자 수를 사용한 EDA-EEND(15.43%) 및 x-vector 클러스터링(18.98%)을 크게 능가하였다.
• 추정된 화자 수를 사용할 경우, 30초 블록을 사용하여 DER 12.49%를 달성하였으며, EDA-EEND(15.29%) 및 x-vector 클러스터링(19.43%)을 초월하였다.
• 제약 조건이 있는 AHC 클러스터링이 가장 우수한 성능을 보였으며, 특히 6명의 화자 세션에서 제약 조건이 없는 AHC 대비 DER을 2.29% 감소시켰고, 오라클 클러스터링에 가장 가까운 성능을 유지하였다.
• 작은 블록 크기(예: 15초)에서는 성능이 저하되었으며, 빈번한 화자 전환에 대응하는 데 어려움이 있음을 시사하였다. 그러나 혼동 증가가 잘못된 탐지나 누락된 말보다 더 두드러졌다.
• 소음과 반향과 같은 실제 환경 도전 과제에 대해 강인성을 보였으며, 장기적이고 복잡한 회의에서 기본 EEND 및 x-vector 클러스터링 대비 성능 향상을 보였다.
• 화자 임베딩 정확도 향상 또는 클러스터링 강인성 향상은 짧은 블록에서도 성능 향상에 상당한 기여를 할 수 있음을 시사한다.