[논문 리뷰] End-to-End Neural Speaker Diarization with Permutation-Free Objectives

Yusuke Fujita, Naoyuki Kanda외 3명|arXiv (Cornell University)|2019. 09. 12.

Speech Recognition and Synthesis참고 문헌 34인용 수 10

한 줄 요약

이 논문은 다중 레이블 분류 접근 방식과 순열 없음 목적함수를 사용하여 프레임 단위로 직접 발화자 레이블을 예측하는 엔드 투 엔드 신경망 발화자 디아라이제이션 모델(EEND)을 제안한다. 이는 별도의 클러스터링 모듈이 필요 없도록 하여, 겹침 음성에 대한 처리 능력 향상과 디아라이제이션 오차 최소화를 동시에 달성한다. 모델은 시뮬레이션된 혼합 음성에서 12.28%의 디아라이제이션 오차율(DER)을 기록하였고, CALLHOME 데이터셋에서 도메인 적응을 통해 25.6%의 상대적 향상도를 기록하여 클러스터링 기반 기준 모델을 초월하였다.

ABSTRACT

In this paper, we propose a novel end-to-end neural-network-based speaker diarization method. Unlike most existing methods, our proposed method does not have separate modules for extraction and clustering of speaker representations. Instead, our model has a single neural network that directly outputs speaker diarization results. To realize such a model, we formulate the speaker diarization problem as a multi-label classification problem, and introduces a permutation-free objective function to directly minimize diarization errors without being suffered from the speaker-label permutation problem. Besides its end-to-end simplicity, the proposed method also benefits from being able to explicitly handle overlapping speech during training and inference. Because of the benefit, our model can be easily trained/adapted with real-recorded multi-speaker conversations just by feeding the corresponding multi-speaker segment labels. We evaluated the proposed method on simulated speech mixtures. The proposed method achieved diarization error rate of 12.28%, while a conventional clustering-based system produced diarization error rate of 28.77%. Furthermore, the domain adaptation with real-recorded speech provided 25.6% relative improvement on the CALLHOME dataset. Our source code is available online at https://github.com/hitachi-speech/EEND.

연구 동기 및 목표

• 클러스터링 기반 발화자 디아라이제이션 시스템의 한계를 해결하기 위해, 겹침 음성을 다루기 어려우며 디아라이제이션 오차에 직접 최적화되지 않는 문제를 해결하고자 한다.
• 발화자 임베딩 추출, 클러스터링 등의 별도 모듈이 필요 없도록 모든 기능을 하나의 엔드 투 엔드 신경망에 통합하고자 한다.
• 실제로 겹침 다중 발화자 녹음 데이터를 학습할 수 있도록, 디아라이제이션 오차를 직접 최소화하는 순열 없음 학습 목적함수를 도입하고자 한다.
• 실제 환경 조건과 다양한 겹침 비율에 대한 강건성을 향상시키기 위해 실시간 음성 데이터를 활용한 도메인 적응 기법을 적용하고자 한다.
• 청결한 비겹침 기준 데이터가 필요 없이, 학습 및 추론 모두에서 겹침 음성을 명시적으로 다룰 수 있는 학습 목적함수를 개발하고자 한다.

제안 방법

• 모든 발화자에 대해 동시 발화 상태를 예측하는 다중 레이블 분류 문제로 발화자 디아라이제이션을 재정의한다.
• 학습 중 레이블의 모호함을 해결하기 위해 Permutation-Invariant Training(PIT) 손실을 활용한 순열 없음 목적함수를 도입한다.
• 각 프레임의 발화자 활동을 추정하기 위해 깊은 순환 신경망을 사용하여 겹침 음성을 명시적으로 모델링할 수 있도록 한다.
• 디아라이제이션 오차를 직접 최소화하는 미분 가능한 목적함수를 사용하여 후처리 클러스터링이 필요 없도록 한다.
• 발화자 간 구분 능력을 향상시키고 혼동 오차를 줄이기 위해 동적 쌍별 대비 손실(DPCL)을 적용한다.
• 시간에 맞춰 레이블이 부여된 합성 혼합 음성 데이터를 사용해 엔드 투 엔드로 학습하며, 이를 통해 실재 음성 데이터를 활용한 도메인 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 신경망이 별도의 클러스터링 없이 직접 발화자 디아라이제이션 출력을 예측할 수 있으며, 클러스터링 기반 기준 모델을 초월할 수 있는가?
• RQ2 순열 없음 학습 목적함수가 엔드 투 엔드 학습 중에 발생하는 모호한 발화자 레이블 할당 문제를 효과적으로 다룰 수 있는가?
• RQ3 실제 음성 데이터를 활용한 도메인 적응을 통해 모델이 실제 환경에 일반화되는가? 어떤 성능 향상이 달성될 수 있는가?
• RQ4 다양한 겹침 비율 조건에서 모델의 성능는 어떻게 되며, 특정 학습 조건에 과적합되는가?
• RQ5 청결한 비겹침 기준 음성이 필요 없이, 실제 겹침 대화 데이터에서 학습이 가능한가?

주요 결과

• 제안된 EEND 모델은 시뮬레이션된 음성 혼합에서 12.28%의 디아라이제이션 오차율(DER)을 기록하였으며, x-vector 기준 모델(28.77% DER)을 크게 능가하였다.
• CALLHOME 데이터셋에서 실전 전화 녹음 데이터를 활용한 도메인 적응 후, 모델은 DER에서 25.6%의 상대적 향상도를 기록하였다.
• 시뮬레이션된 혼합 음성에서 모델은 낮은 누락률(1.7%)을 보였으며, 겹침 및 단일 발화자 세그먼트를 잘 탐지하는 것으로 나타났다.
• PIT 손실의 사용은 학습에 필수적이었고, DPCL 손실의 적용은 특히 혼동 오차 감소에 성능 향상을 이끌어냈다.
• 더 적은 겹침 비율(높은 β 값)에서 성능 저하가 관찰되어, 학습 데이터에서 27.3% 겹침 비율에 과적합된 것으로 보였다.
• 시뮬레이션 데이터에선 뛰어난 성능를 보였지만, CALLHOME에서의 DER는 여전히 기준 모델보다 높았는데, 이는 학습 데이터(5.8%)와 테스트 데이터(11.8%) 간 겹침 비율 불일치로 인한 것으로 분석되었다.