[논문 리뷰] The Hitachi-JHU DIHARD III System: Competitive End-to-End Neural Diarization and X-Vector Clustering Systems Combined by DOVER-Lap

Shota Horiguchi, Nelson Yalta외 8명|arXiv (Cornell University)|2021. 02. 02.

Speech Recognition and Synthesis참고 문헌 26인용 수 27

한 줄 요약

이 논문은 DIHARD III용 Hitachi-JHU 시스템으로, 다섯 개의 diarization 서브시스템(두 개의 x-vector, 두 개의 EEND, 하나의 하이브리드)을 DOVER-Lap으로 융합한 앙상블로, Track 1과 Track 2에서 경쟁력 있는 DER를 달성한다.

ABSTRACT

This paper provides a detailed description of the Hitachi-JHU system that was submitted to the Third DIHARD Speech Diarization Challenge. The system outputs the ensemble results of the five subsystems: two x-vector-based subsystems, two end-to-end neural diarization-based subsystems, and one hybrid subsystem. We refine each system and all five subsystems become competitive and complementary. After the DOVER-Lap based system combination, it achieved diarization error rates of 11.58 % and 14.09 % in Track 1 full and core, and 16.94 % and 20.01 % in Track 2 full and core, respectively. With their results, we won second place in all the tasks of the challenge.

연구 동기 및 목표

• 보완적인 서브시스템(x-vector 클러스터링, 엔드-투-엔드 다이어라이제이션, 하이브리드 방법)을 결합하여 경쟁력 있는 화자 다이어라이제이션을 구축하는 것을 목표로 한다.
• DOVER-Lap과의 시스템 융합을 활용하고 중첩 처리 및 자기지도 적응과 같은 개선점을 도입한다.
• 다양한 트랙에서 DIHARD III를 평가하여 어려운 다이어라이제이션 시나리오에서의 강인성을 입증한다.

제안 방법

• VBx 클러스터링과 중첩 할당을 갖춘 두 개의 x-vector 서브시스템을 개발한다(하나는 TDNN 기반, 하나는 Res2Net 기반).
• 가변 화자 수와 향상된 추론을 가진 두 개의 엔드-투-엔드 다이어라이제이션 서브시스템(EEND-EDA 및 SC-EEND)을 개발한다.
• EEND가 x-vector 클러스터링 결과를 후처리하는 하이브리드 서브시스템을 만든다.
• 다섯 개의 서브시스템을 융합하기 위해 수정된 DOVER-Lap을 사용하고 더 나은 조합을 위한 가설 가중치를 도입한다.
• 평가 데이터의 의사 라벨을 이용한 EEND-EDA의 자기지도 적응을 적용한다.

실험 결과

연구 질문

• RQ1 다양한 다이어라이제이션 패러다임(x-vector 클러스터링, EEND 변형, 하이브리드 후처리)의 앙상블이 DIHARD III에서 개별 시스템보다 우수한 성능을 보일 수 있는지?
• RQ2 가중치를 가진 DOVER-Lap 융합 전략이 트랙과 조건 전반에서 DER/JER 트레이드오프에 가장 좋은 결과를 내는가?
• RQ3 평가 데이터의 의사 라벨을 활용한 EEND-EDA의 자기지도 적응이 성능을 향상시키는가?
• RQ4 중첩 음성의 다이어라이제이션 개선에 있어 중첩 감지/할당 및 VAD 후처리가 얼마나 효과적인가?

주요 결과

• 다섯 서브시스템 앙상블과 수정된 DOVER-Lap은 평가 데이터에서 경쟁력 있는 DER를 달성했다: Track 1 full 11.58%, Track 1 core 14.09%, Track 2 full 16.94%, Track 2 core 20.01%.
• 개별 서브시스템은 베이스라인 대비 상당한 개선을 보였고, EEND-EDA와 TDNN/x-vector+EENDasP가 다양한 설정에서 강력한 성능을 보였다.
• 오버랩 할당, VAD 후처리, 반복 추론은 EEND 기반 시스템의 DER/JER를 크게 감소시켰다.
• 평가 데이터에 대한 의사 라벨을 활용한 자기지도 적응은 개발 데이터와 평가 데이터의 의사 라벨을 사용할 때 EEND 기반 결과를 추가로 향상시켰다.
• 시스템 융합 가중치(수동으로 조정)가 DER 감소에 기여하며 다중 시스템 융합에서 가중치 정보의 가치를 보여준다.