[논문 리뷰] End-to-End Neural Speaker Diarization with Self-attention

Yusuke Fujita, Naoyuki Kanda외 4명|arXiv (Cornell University)|2019. 09. 13.

Speech Recognition and Synthesis참고 문헌 53인용 수 12

한 줄 요약

이 논문은 종단간 신경 다이어라이제이션(Self-Attentive End-to-End Neural Diarization, SA-EEND)을 제안하며, BLSTM 대신 자기주의(self-attention)를 사용하여 직접적으로 화자 전환을 예측한다. 이 방법은 전반적인 화자 특성 모델링과 겹침 처리 능력이 향상되어 BLSTM 기반 또는 클러스터링 기반 접근 방식보다 우수한 성능을 보이며, CALLHOME 및 CSJ를 포함한 시뮬레이션 및 실제 데이터셋에서 유의미한 DER 감소를 달성한다.

ABSTRACT

Speaker diarization has been mainly developed based on the clustering of speaker embeddings. However, the clustering-based approach has two major problems; i.e., (i) it is not optimized to minimize diarization errors directly, and (ii) it cannot handle speaker overlaps correctly. To solve these problems, the End-to-End Neural Diarization (EEND), in which a bidirectional long short-term memory (BLSTM) network directly outputs speaker diarization results given a multi-talker recording, was recently proposed. In this study, we enhance EEND by introducing self-attention blocks instead of BLSTM blocks. In contrast to BLSTM, which is conditioned only on its previous and next hidden states, self-attention is directly conditioned on all the other frames, making it much suitable for dealing with the speaker diarization problem. We evaluated our proposed method on simulated mixtures, real telephone calls, and real dialogue recordings. The experimental results revealed that the self-attention was the key to achieving good performance and that our proposed method performed significantly better than the conventional BLSTM-based method. Our method was even better than that of the state-of-the-art x-vector clustering-based method. Finally, by visualizing the latent representation, we show that the self-attention can capture global speaker characteristics in addition to local speech activity dynamics. Our source code is available online at https://github.com/hitachi-speech/EEND.

연구 동기 및 목표

• 클러스터링 기반 화자 다이어라이제이션의 한계를 해결하기 위해, 직접적인 다이어라이제이션 오차 최소화가 어려우며 화자 겹침 상황에서 어려움을 겪는 문제를 해결한다.
• 클러스터링을 생략하고 다이어라이제이션 성능을 직접 최적화하는 종단간 신경 다이어라이제이션 모델을 개발한다.
• 자기주의 기반 메커니즘이 다양한 겹침 조건 하에서도 정확성과 강인성을 향상시키는지 조사한다.
• 자기주의가 잠재 표현에서 전반적인 화자 특성과 국소적 음성 활동 동역학을 어떻게 포착하는지 분석한다.

제안 방법

• 모델은 자기주의 기반 인코더-디코더 아키텍처를 사용하여, 클러스터링을 생략하고 시간 프레임별로 공동 화자 활동을 직접 출력한다.
• 최소 다이어라이제이션 오차 최적화를 위해 클러스터링 없이 훈련하는 종단간 모델을 위한 순열 불필요 목적 함수를 사용한다.
• 다중 헤드 자기주의는 모든 프레임 간 쌍별 유사도를 계산하여 국소 반복성을 초월한 전반적 맥락 모델링을 가능하게 한다.
• 모델은 다양한 겹침 비율을 가진 시뮬레이션 혼합 오디오로 훈련되고, CALLHOME 및 CSJ와 같은 실제 데이터셋으로 평가된다.
• 실제 세계 데이터에 대한 일반화를 향상시키기 위해 도메인 적응 기법을 적용하여 시뮬레이션 훈련 조건에 대한 과적합을 줄인다.
• 잠재 표현을 시각화하여 주의 헤드 행동을 분석하고, 화자 신원과 시간적 특징 학습을 구분한다.

실험 결과

연구 질문

• RQ1 자기주의 기반 종단간 모델이 다양한 화자 겹침 조건 하에서 BLSTM 기반 EEND보다 우수한 성능을 보일 수 있는가?
• RQ2 자기주의 메커니즘이 국소적 음성 동역학을 초월해 전반적인 화자 특성을 포착할 수 있는가?
• RQ3 실제 오디오에서 제안된 SA-EEND는 최신 x-vector 클러스터링 기반 시스템과 비교해 어떻게 성능을 내는가?
• RQ4 도메인 적응이 실제 테스트 세트에서 모델의 일반화 능력을 얼마나 향상시키는가?
• RQ5 주의 가중치 시각화를 통해 일부 헤드가 화자에 따라 다른 전반적 패턴을 학습하는 반면, 다른 헤드는 음성 활동 감지를 위해 위치에 의존하지 않는 필터로 작용하는지 확인할 수 있는가?

주요 결과

• 모든 시뮬레이션 혼합 오디오에서 SA-EEND는 BLSTM 기반 EEND보다 유의미하게 낮은 다이어라이제이션 오차율(DER)을 달성했으며, 특히 고겹침 조건(β=2)에서 가장 큰 향상을 보였다.
• 실제 데이터셋에서, 시뮬레이션 데이터로 훈련된 SA-EEND는 CSJ에서 x-vector 클러스터링 기반 방법보다 우수했고, CALLHOME에서는 동일한 성능을 보이며, 도메인 적응 없이도 강력한 일반화 능력을 입증했다.
• 도메인 적응을 거친 후, SA-EEND는 CALLHOME에서 x-vector 시스템을 뛰어넘는 성능을 보였으며, 혼동 오차와 누락 오차를 크게 감소시켰다.
• 시각화 결과 일부 자기주의 헤드는 장거리 프레임 유사도를 통해 화자에 따라 다른 전반적 패턴을 학습한 반면, 다른 헤드는 음성 활동 감지를 위한 위치에 의존하지 않는 필터로 작용하는 것으로 나타났다.
• 자기주의 메커니즘은 다양한 겹침 비율에 대한 강인성을 향상시켜, BLSTM-EEND 대비 저겹침 테스트 세트에서 DER 저하를 줄였다.
• 실제 데이터로 훈련된 경우 모델 성능이 더욱 향상되었지만, 제한된 실제 데이터와 낮은 겹침 비율로 인해 시뮬레이션 혼합 오디오에 과적합되는 경향을 보였다.