[논문 리뷰] End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors

Shota Horiguchi, Yusuke Fujita외 3명|arXiv (Cornell University)|2020. 05. 20.

Speech Recognition and Synthesis참고 문헌 37인용 수 12

한 줄 요약

이 논문은 말 임베딩에서 유연한 수의 액트랙터를 동적으로 결정함으로써 사전에 알려진 화자 수에 의존하지 않고 정확한 다이어라이제이션을 가능하게 하는, 엔코더-디코더 기반 액트랙터(EDA)라는 새로운 방법을 제안한다. 이는 두 명의 화자로 구성된 시뮬레이션 혼합 음성에서 2.69%의 최고 성능 다이어라이제이션 오류율(DER)과 CALLHOME에서 알려지지 않은 화자 수 조건에서 15.29%의 DER을 기록하며, 일반적인 SA-EEND 및 x-vector 클러스터링 방법을 모두 능가한다.

ABSTRACT

End-to-end speaker diarization for an unknown number of speakers is addressed in this paper. Recently proposed end-to-end speaker diarization outperformed conventional clustering-based speaker diarization, but it has one drawback: it is less flexible in terms of the number of speakers. This paper proposes a method for encoder-decoder based attractor calculation (EDA), which first generates a flexible number of attractors from a speech embedding sequence. Then, the generated multiple attractors are multiplied by the speech embedding sequence to produce the same number of speaker activities. The speech embedding sequence is extracted using the conventional self-attentive end-to-end neural speaker diarization (SA-EEND) network. In a two-speaker condition, our method achieved a 2.69 % diarization error rate (DER) on simulated mixtures and a 8.07 % DER on the two-speaker subset of CALLHOME, while vanilla SA-EEND attained 4.56 % and 9.54 %, respectively. In unknown numbers of speakers conditions, our method attained a 15.29 % DER on CALLHOME, while the x-vector-based clustering method achieved a 19.43 % DER.

연구 동기 및 목표

• 엔드 투 엔드 화자 다이어라이제이션 모델이 사전에 정의된 최대 화자 수가 필요로 하는 한계를 해결하기 위해.
• 클러스터링 히우리스틱에 의존하지 않고도 알려지지 않은 또는 변동하는 수의 화자에 대해 엔드 투 엔드 다이어라이제이션을 가능하게 하기 위해.
• 겹치는 음성과 변동하는 화자 수를 가진 실세계 녹음 자료에서의 강인성과 성능을 향상시키기 위해.
• 사전에 화자 수를 알지 못한 채 말 임베딩에서 직접 액트랙터를 엔드 투 엔드로 생성하는 방법을 개발하기 위해.

제안 방법

• EDA 모듈은 말 임베딩 시퀀스에서 직접 가변적인 수의 액트랙터를 생성하기 위해 엔코더-디코더 아키텍처를 사용한다.
• 가장 중요한 액트랙터는 학습 가능한 쿼리 메커니즘을 사용해 임베딩 시퀀스에 주의를 기울임으로써 계산되며, 이는 화자 표현을 동적으로 선택할 수 있도록 한다.
• 각 액트랙터와 입력 임베딩 간의 내적 곱을 통해 화자 활동이 추정되며, 이는 각 화자에 대한 활성도 맵을 생성한다.
• 이 방법은 자가 주의 기반 엔드 투 엔드 신경 다이어라이제이션(SA-EEND) 프레임워크에 통합되어 순열 불변 훈련(PIT)을 유지하는 엔드 투 엔드 훈련을 가능하게 한다.
• 모델은 실재 데이터(CALLHOME 등)에서 미세조정되며, 고정 및 변동하는 화자 수 조건에서 평가된다.
• 이 방법은 겹치는 시간 프레임에서 여러 액트랙터가 동시에 활성화될 수 있도록 하여 자연스럽게 화자 겹침을 처리한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 다이어라이제이션 시스템이 화자 수를 사전에 알지 못한 채 화자 수를 동적으로 결정할 수 있는가?
• RQ2 알려지지 않은 또는 변동하는 화자 수 조건에서, 액트랙터 기반 방법의 성능이 클러스터링 기반 기준 모델보다 어떻게 비교되는가?
• RQ3 제안된 EDA 모듈은 재학습이나 재구성 없이 다양한 화자 수에 일반화될 수 있는가?
• RQ4 SA-EEND에 EDA를 통합함으로써 시뮬레이션 및 실세계 녹음 자료에서 겹치는 음성이 있는 경우 다이어라이제이션 정확도가 향상되는가?
• RQ5 실제 화자 수가 오라클 정보로 제공되었을 때와 모델이 추정한 경우에 모델의 성능은 어떻게 비교되는가?

주요 결과

• 두 명의 화자로 구성된 시뮬레이션 혼합 음성에서 제안된 방법은 2.69%의 다이어라이제이션 오류율(DER)을 기록했으며, 일반적인 SA-EEND(4.56%) 및 x-vector 클러스터링(7.74%)을 모두 능가했다.
• CALLHOME의 두 명 화자 서브셋에서, 이 방법은 8.07%의 DER을 기록했으며, SA-EEND(9.54%) 및 x-vector 클러스터링(15.45%)보다 우수했다.
• CALLHOME에서 알려지지 않은 화자 수 조건에서, 이 방법은 15.29%의 DER을 기록했으며, x-vector 클러스터링(19.43%)을 능가했고 화자 수 변화에 대한 강인성을 입증했다.
• 실제 화자 수가 오라클 정보로 제공되었을 때, CALLHOME에서 이 방법은 15.43%의 DER을 기록했으며, 추정된 화자 수 조건과 비교해 거의 퇴화되지 않았다.
• DIHARD 2019 평가 세트에서, 이 방법은 32.59%의 DER을 기록했으며, 기준 모델(40.86%)과 2019년 이전 마감일 기준 최고 성능 시스템(35.10%)을 모두 능가했지만, 2019년 이후 최고 성능 시스템에는 미치지 못했다.
• 이 방법은 강력한 일반화 능력을 보였다: 다양한 화자 수가 가능한 시뮬레이션 혼합 음성에서, 전용 두 명 및 세 명 화자 모델 대비 각각 1.64점과 0.56점의 성능 저하만을 보였다.