[논문 리뷰] Integrating end-to-end neural and clustering-based diarization: Getting the best of both worlds

Keisuke Kinoshita, Marc Delcroix외 1명|arXiv (Cornell University)|2020. 10. 26.

Speech Recognition and Synthesis참고 문헌 21인용 수 7

한 줄 요약

이 논문은 각 청크 단위로 전역 발화자 임베딩을 생성함으로써 종단간 신경망 다이어라이제이션(EEND)과 클러스터링을 결합하는 하이브리드 발화자 다이어라이제이션 프레임워크인 EEND-벡터 클러스터링을 제안한다. 제약 조건이 있는 알고리즘을 사용해 블록 간 임베딩을 클러스터링함으로써 블록 간 레이블 순열 문제를 해결함으로써, 겹치는 말이 많은 장기 녹음 기록에서도 강력한 성능을 발휘하며, 특히 장기 설정에서 원래 EEND보다 뛰어난 성능을 보인다.

ABSTRACT

Recent diarization technologies can be categorized into two approaches, i.e., clustering and end-to-end neural approaches, which have different pros and cons. The clustering-based approaches assign speaker labels to speech regions by clustering speaker embeddings such as x-vectors. While it can be seen as a current state-of-the-art approach that works for various challenging data with reasonable robustness and accuracy, it has a critical disadvantage that it cannot handle overlapped speech that is inevitable in natural conversational data. In contrast, the end-to-end neural diarization (EEND), which directly predicts diarization labels using a neural network, was devised to handle the overlapped speech. While the EEND, which can easily incorporate emerging deep-learning technologies, has started outperforming the x-vector clustering approach in some realistic database, it is difficult to make it work for `long' recordings (e.g., recordings longer than 10 minutes) because of, e.g., its huge memory consumption. Block-wise independent processing is also difficult because it poses an inter-block label permutation problem, i.e., an ambiguity of the speaker label assignments between blocks. In this paper, we propose a simple but effective hybrid diarization framework that works with overlapped speech and for long recordings containing an arbitrary number of speakers. It modifies the conventional EEND framework to simultaneously output global speaker embeddings so that speaker clustering can be performed across blocks to solve the permutation problem. With experiments based on simulated noisy reverberant 2-speaker meeting-like data, we show that the proposed framework works significantly better than the original EEND especially when the input data is long.

연구 동기 및 목표

• 높은 메모리 사용량과 일반화 능력 부족으로 인해 장기 녹음을 처리하는 데 한계가 있는 종단간 신경망 다이어라이제이션(EEND)의 문제를 해결하기 위해.
• 청크로 나누어진 EEND 처리에서 발생하는 블록 간 레이블 순열 문제를 해결하여 세그먼트 간 일관된 발화자 레이블링을 가능하게 하기 위해.
• 클러스터링 기반 다이어라이제이션의 장점(장기 시퀀스에 대한 강건성)과 EEND의 장점(겹치는 말 다루기)을 하나의 프레임워크에 통합하기 위해.
• 임의의 수의 발화자와 상당한 수준의 겹치는 말이 있는 장기 녹음(5분 이상)에 대해 효과적인 다이어라이제이션을 가능하게 하기 위해.

제안 방법

• 음성 청크 단위로 프레임 수준의 다이어라이제이션 레이블과 전역 발화자 임베딩을 출력하도록 EEND 모델를 수정한다.
• 공유된 발화자 임베딩 기반으로 블록 간 레이블을 정렬하기 위해 제약 조건이 있는 클러스터링 알고리즘(COP-k-means)을 사용한다.
• 임베딩 품질 향상을 위해 학습 중에 발화자 손실 항목을 적용하며, 하이퍼파라미터 λ = 0.01을 사용한다.
• 장기 녹음을 겹치지 않는 청크로 나누어 처리하고, 임베딩 출력 기능이 있는 EEND를 적용한 후, 블록 간 임베딩을 클러스터링하여 레이블 순열 문제를 해결한다.
• 모델 학습을 위해 4개의 헤드와 256개의 유닛을 가진 멀티헤드 어텐션 블록과 학습률 스케줄링 기능이 있는 Adam 옵timizer를 사용한다.
• 최근 10개의 모델 체크포인트를 평균화하고, 무작위 초기화를 10번 반복하여 추론하여 변동성을 줄인다.

Fig. 1 : Schematic diagram of the proposed diarization framework. The input contains 3 speakers in total (red, green, and blue speakers shown in the waveform in the bottom), but only at most 2 speakers are actively speaking in each chunk.

실험 결과

연구 질문

• RQ1 EEND와 클러스터링을 융합한 하이브리드 다이어라이제이션 시스템이 겹치는 말이 많은 장기 녹음을 효과적으로 처리할 수 있는가?
• RQ2 제안된 방법이 청크로 나누어진 EEND 처리에서 발생하는 블록 간 레이블 순열 문제를 완화하는가?
• RQ3 제안된 EEND-벡터 클러스터링의 성능이 장기 데이터에서 원래 EEND와 비교해 어떻게 되는가?
• RQ4 발화자 임베딩 추정을 포함함으로써 클러스터링 정확도와 전체 다이어라이제이션 성능이 향상되는가?

주요 결과

• 제안된 EEND-벡터 클러스터링은 원래 EEND보다 장기 녹음(예: 10분 분량 혼합 녹음)에서 뚜렷하게 뛰어난 성능을 보이며, 기록 길이가 길어질수록 성능 향상이 두드러진다.
• 짧은 녹음에서는 원래 EEND와 비교해 성능 저하 없이 유사한 성능을 유지함으로써, 추가 구성 요소로 인한 성능 저하가 없음을 확인한다.
• 블록 간 레이블 순열 문제로 인해 EEND를 청크로만 처리할 경우 성능 저하가 심각하게 발생함을 확인하였으며, 이는 청크 전용과 클러스터링 적용 버전 간 DER 감소로 나타났다.
• t-SNE 시각화 결과, 겹치는 말이 존재하는 상황에서도 발화자 임베딩이 잘 분리되어 정확함을 확인하였으며, 이는 신뢰할 수 있는 전역 임베딩 추정을 가능하게 함을 시사한다.
• 모든 겹침 비율 범위에서 제안된 방법의 DER은 원래 EEND보다 상당히 낮게 나타나, 다양한 수준의 발화자 겹침에 대한 강건성을 입증한다.
• 10번의 무작위 초기화에 따른 DER의 표준편차는 0.2% 미만이었으며, 이는 제안된 방법의 높은 안정성을 나타낸다.

Fig. 2 : t-SNE plot of the 26 test speaker’s embedding vectors