[논문 리뷰] Triplet Network with Attention for Speaker Diarization

Huan Song, Megan Willi외 3명|arXiv (Cornell University)|2018. 08. 04.

Speech Recognition and Synthesis참고 문헌 18인용 수 9

한 줄 요약

이 논문은 원시 음성 신호에서 직접 시간적 음성 표현을 학습하는 엔드투엔드 트리플릿 네트워크를 제안하며, i-벡터에 의존하지 않고 자기주의 주의 메커니즘을 통합한다. 트리플릿 손실을 통해 임bedding과 메트릭 학습을 동시에 최적화함으로써 CALLHOME에서 12.7%의 스피커 다이아라이제이션 오류율(DER)을 달성하여, 더 큰 학습 코퍼스와 피니어튜닝된 완전히 연결된 네트워크를 사용한 i-벡터 기반 기준선을 능가한다.

ABSTRACT

In automatic speech processing systems, speaker diarization is a crucial front-end component to separate segments from different speakers. Inspired by the recent success of deep neural networks (DNNs) in semantic inferencing, triplet loss-based architectures have been successfully used for this problem. However, existing work utilizes conventional i-vectors as the input representation and builds simple fully connected networks for metric learning, thus not fully leveraging the modeling power of DNN architectures. This paper investigates the importance of learning effective representations from the sequences directly in metric learning pipelines for speaker diarization. More specifically, we propose to employ attention models to learn embeddings and the metric jointly in an end-to-end fashion. Experiments are conducted on the CALLHOME conversational speech corpus. The diarization results demonstrate that, besides providing a unified model, the proposed approach achieves improved performance when compared against existing approaches.

연구 동기 및 목표

• i-벡터 기반 스피커 다이아라이제이션 시스템이 특징 추출과 메트릭 학습을 분리함으로써 엔드투엔드 최적화 잠재력이 제한되는 문제를 해결하기 위해.
• i-벡터에 의존하지 않고 트리플릿 손실을 통한 표현과 메트릭 학습의 통합이 다이아라이제이션 성능 향상에 기여하는지 조사하기 위해.
• 자기주의 주의 메커니즘이 스피커 임베딩 학습을 위한 순차적 음성 특징을 모델링하는 데 얼마나 효과적인지 평가하기 위해.
• 기존의 i-벡터 파이프라인과 i-벡터 기반 트리플릿 네트워크와 비교하여 엔드투엔드 주의 기반 트리플릿 네트워크의 성능을 평가하기 위해.
• 제한된 데이터셋으로 훈련된 더 작은 통합 모델이 더 큰 두 단계 시스템을 능가할 수 있는지 보여주기 위해.

제안 방법

• 모델은 원시 음성 특징에서 직접 스피커 임베딩을 학습하기 위해 자기주의 주의 메커니즘을 사용하며, i-벡터 추출의 필요성을 제거한다.
• 학습된 임베딩에 트리플릿 손실 함수를 적용하여 내부 스피커 간 거리의 최소화와 외부 스피커 간 거리의 최대화를 위해 마진을 적용한다.
• 모델은 트리플릿 마이닝 전략을 사용하여 TEDLIUM 코퍼스에서 엔드투엔드로 훈련되며, 마진 M=64와 트리플릿 마진 α=0.8을 사용한다.
• 최종 스피커 다이아라이제이션은 학습된 임베딩에 대해 x-means를 사용하여 스피커 수를 추정하고, k-means 군집화를 수행한다.
• 모델 평가에는 CALLHOME 코퍼스에서 다이아라이제이션 오류율(DER)을 사용하며, 오라클 음성 활성 영역과 250ms 콜라주 허용 오차를 적용한다.
• 기존의 두 단계 파이프라인(i-벡터 추출 + 메트릭 학습)을 대체하여 통합된 엔드투엔드 학습 가능한 시스템으로 아키텍처를 대체한다.

실험 결과

연구 질문

• RQ1 i-벡터 기반 파이프라인과 비교하여 트리플릿 손실을 통한 엔드투엔드 스피커 임베딩 및 메트릭 학습이 다이아라이제이션 성능 향상에 기여하는가?
• RQ2 i-벡터를 원시 음성 기반 주의 네트워크로 대체하면, 특히 학습 데이터가 제한된 경우 더 나은 일반화 성능을 달성하는가?
• RQ3 자기주의 주의 메커니즘이 스피커 표현 학습을 위한 음성 시퀀스의 장거리 의존성을 모델링하는 데 얼마나 효과적인가?
• RQ4 더 작은 데이터셋으로 훈련된 통합 모델이 더 큰 코퍼스로 훈련된 두 단계 시스템을 능가할 수 있는가?
• RQ5 임베딩과 메트릭 학습의 통합 최적화가 군집 품질과 DER에 어떤 영향을 미치는가?

주요 결과

• 제안된 엔드투엔드 주의 기반 트리플릿 네트워크는 CALLHOME 코퍼스에서 12.7%의 다이아라이제이션 오류율(DER)을 달성하여, i-벡터 + 코사인(18.7%) 및 i-벡터 + PLDA(17.6%) 기준선을 모두 능가했다.
• 더 큰 학습 코퍼스(GMM-UBM)를 사용한 i-벡터 + 트리플릿 네트워크(13.4% DER)와 비교하여, 훨씬 더 작은 데이터셋(TEDLIUM)으로 훈련된 모델이 성능을 뛰어넘었다.
• t-SNE 시각화 결과, 학습된 임베딩이 동일한 스피커 클래스 내에서 밀도를 유지하면서도 서로 다른 스피커를 효과적으로 분리하는 것으로 확인되었다.
• 개발 세트에서 k-means 군집화를 수행한 결과, NMI가 0.94이고 품질도 0.94로 나타나, 높은 품질의 스피커 임베딩 군집화가 이루어졌음을 확인했다.
• 제거 분석 결과, 낮은 트리플릿 마진(α=0.8)과 큰 마진(M=64)이 학습 안정성과 성능 향상에 기여하는 것으로 나타났다.
• 표현과 메트릭 학습의 통합 엔드투엔드 최적화가 i-벡터 처리와 메트릭 학습을 순차적으로 수행하는 것보다 더 효과적임을 입증했다.