[논문 리뷰] DIHARD II is Still Hard: Experimental Results and Discussions from the DKU-LENOVO Team

Qingjian Lin, Weicheng Cai외 4명|arXiv (Cornell University)|2020. 02. 23.

Speech Recognition and Synthesis참고 문헌 35인용 수 8

한 줄 요약

DKU-LENOVO 팀은 DIHARD II 챌린지에 대해 강력한 화자 분리 시스템을 제시하며, ResNet-LSTM VAD, 딥 리스넷 기반 화자 임베딩, LSTM 기반 유사도 스코링, 스펙트럼 클러스터링, 변동형 베이즈 재분할, 오버랩 감지 기술을 통합하였다. 최종 시스템은 트랙1에서 18.84% DER, 트랙2에서 27.90% DER를 기록하여 2위를 차지했지만, 오버랩 음성 및 어린이 음성과 같은 어려운 시나리오에서 여전히 도전 과제를 노출시켰다.

ABSTRACT

In this paper, we present the submitted system for the second DIHARD Speech Diarization Challenge from the DKULENOVO team. Our diarization system includes multiple modules, namely voice activity detection (VAD), segmentation, speaker embedding extraction, similarity scoring, clustering, resegmentation and overlap detection. For each module, we explore different techniques to enhance performance. Our final submission employs the ResNet-LSTM based VAD, the Deep ResNet based speaker embedding, the LSTM based similarity scoring and spectral clustering. Variational Bayes (VB) diarization is applied in the resegmentation stage and overlap detection also brings slight improvement. Our proposed system achieves 18.84% DER in Track1 and 27.90% DER in Track2. Although our systems have reduced the DERs by 27.5% and 31.7% relatively against the official baselines, we believe that the diarization task is still very difficult.

연구 동기 및 목표

• 실제 환경, 소음이 많고 다수의 화자 존재하는 환경에서 도전적인 DIHARD II 데이터셋에 적합한 고성능 화자 분리 시스템을 개발하기 위해.
• VAD, 화자 임베딩, 스코링, 클러스터링, 재분할, 오버랩 감지 등 다양한 모듈이 화자 분리 성능에 미치는 영향을 조사하기 위해.
• 특히 오버랩이 많거나 성인 외 화자(예: 어린이)가 포함된 도메인, 예를 들어 어린이 녹음 및 레스토랑 회의에서의 성능 안정성 평가를 위해.
• VB 기반 분리 모듈이 융합 시스템에서는 일관되게 성능 향상을 이끌지 못하는 이유를 이해하고, 현재 화자 분리 기술의 한계를 탐색하기 위해.

제안 방법

• 평가 세트에서 80.7%의 정확도를 기록하고, 적응 후 91.4%에 이를 정도로 ResNet-LSTM 아키텍처를 활용한 음성 활성도 검출(VAD)을 적용하였다.
• 화자 고유의 특징을 잘 포착하기 위해 딥 리스넷 기반 화자 임베딩을 사용하였으며, 모든 설정에서 i-vector 및 x-vector를 능가하는 성능을 보였다.
• LSTM 기반 유사도 스코링을 적용한 후 스펙트럼 클러스터링을 통해 유사한 화자 세그먼트를 그룹화하였으며, PLDA 및 AHC 대비 뛰어난 성능을 보였다.
• 재분할 단계에서 변동형 베이즈(VB) 기반 분리를 도입하여 세그먼트 경계를 정밀하게 조정함으로써, 최고의 단일 시스템에서 DER을 1.65% 감소시켰다.
• 오버랩 음성 영역을 처리하기 위해 오버랩 감지 기능을 통합하였지만, 오버랩 음성의 재현율이 낮아 성능 향상이 제한적이었다.
• 시스템 2, 4, 6을 평균화한 점수 행렬을 통한 융합을 통해 개발 세트에서 DER을 20.24%로 낮추며 시스템의 안정성을 향상시켰다.

실험 결과

연구 질문

• RQ1 ResNet-LSTM 기반 VAD가 WebRTC VAD와 비교해 DIHARD II 데이터셋에서 정확도와 일반화 능력 측면에서 어떻게 성능을 내는가?
• RQ2 다양한 도메인에서 화자 분리 성능 향상에 기여하는 딥 리스넷 기반 화자 임베딩의 기여도가 i-vector나 x-vector보다 뛰어나다는 점은 어느 정도이며, 그 이유는 무엇인가?
• RQ3 복잡한 오버랩 또는 짧은 음성 세그먼트에서 LSTM 기반 유사도 스코링과 스펙트럼 클러스터링이 기존의 PLDA나 AHC 클러스터링보다 우월한가?
• RQ4 변동형 베이즈 재분할 기법은 단일 시스템에서는 성능 향상을 이끌어내지만 융합 시스템에서는 성능 향상이 없거나 오히려 성능 저하를 초래하는 이유는 무엇이며, 이는 시스템 간 상호작용과 불확실성 모델링에 어떤 함의를 갖는가?
• RQ5 실제 환경의 화자 분리에서 오버랩 감지 기술이 DER 감소에 얼마나 기여할 수 있는가? 특히 오버랩 비율이 높은 레스토랑 및 회의 영역에서는 어떤가?

주요 결과

• 최종 시스템은 트랙1에서 18.84% DER, 트랙2에서 27.90% DER를 기록하여 랭킹에서 2위를 차지하였으며, 도전적인 실생활 음성 환경에서 뛰어난 성능을 입증하였다.
• 딥 리스넷 기반 화자 임베딩은 모든 설정에서 i-vector 및 x-vector를 능가하였으며, 최고의 단일 시스템(시스템 6)은 20.87% DER을 기록하였다.
• 시스템 2, 4, 6의 점수 행렬 평균화를 통한 융합은 개발 세트에서 DER을 20.24%로 낮추며 앙상블 기법이 안정성을 향상시킨다는 것을 보여주었다.
• 변동형 베이즈 재분할 기법은 최고의 단일 시스템에서 DER을 20.87%에서 19.22%로 1.65% 감소시켰지만, 융합 시스템에서는 성능 향상이 없었고 오히려 성능 저하를 초래하였다.
• 오버랩 감지 기능은 트랙1에서 0.38% 감소, 트랙2에서 0.69% 감소에 그쳐 현재 방법론이 대부분의 오버랩 음성 세그먼트를 탐지하지 못하고 있음을 시사한다.
• 오버랩 오류가 높은 도메인—특히 레스토랑, 어린이, 웹비디오, 회의 영역—에서 성능이 가장 열 劣하였으며, 이러한 환경에서의 지속적인 과제를 확인하였다.