[논문 리뷰] T-vectors: Weakly Supervised Speaker Identification Using Hierarchical Transformer Model

Yanpei Shi, Mingjie Chen외 2명|arXiv (Cornell University)|2020. 10. 29.

Speech Recognition and Synthesis참고 문헌 20인용 수 6

한 줄 요약

이 논문은 다중 화자 음성에서 약한 감독 하에 화자 식별을 위한 메모리 기반 계층적 Transformer 기반 모델인 T-벡터를 제안한다. 프레임 수준 및 세그먼트 수준 인코더에서 다중 헤드 어텐션을 활용하고 순환 메모리 연결을 통해 모델은 SWBC-S 데이터셋에서 Concat 및 Overlap 시나리오에서 H-벡터와 S-벡터 대비 각각 13.3% 및 10.5%의 상대적 향상도를 달성한다.

ABSTRACT

Identifying multiple speakers without knowing where a speaker's voice is in a recording is a challenging task. This paper proposes a hierarchical network with transformer encoders and memory mechanism to address this problem. The proposed model contains a frame-level encoder and segment-level encoder, both of them make use of the transformer encoder block. The multi-head attention mechanism in the transformer structure could better capture different speaker properties when the input utterance contains multiple speakers. The memory mechanism used in the frame-level encoders can build a recurrent connection that better capture long-term speaker features. The experiments are conducted on artificial datasets based on the Switchboard Cellular part1 (SWBC) and Voxceleb1 datasets. In different data construction scenarios (Concat and Overlap), the proposed model shows better performance comparaing with four strong baselines, reaching 13.3% and 10.5% relative improvement compared with H-vectors and S-vectors. The use of memory mechanism could reach 10.6% and 7.7% relative improvement compared with not using memory mechanism.

연구 동기 및 목표

• 정확한 세그먼트 수준 레이블이 없는 다중 화자 음성 녹음에서 화자 식별의 과제를 해결한다.
• GRU 사용으로 인한 느린 훈련과 기울기 소실 문제로 인해 성능이 떨어지는 기존 모델들인 H-벡터의 한계를 극복한다.
• 프레임 수준 인코더 간 메모리 메커니즘을 도입하여 장기적 화자 특징 모델링을 향상시킨다.
• Transformer의 병렬 처리 및 어텐션 메커니즘을 활용하여 겹치는 말소리에서 화자 특성에 더 잘 대응한다.
• 화자 식별을 위한 스케일러블한 훈련을 가능하게 하기 위해 단지 발화 수준의 화자 레이블만을 사용하는 약한 감독 하에서도 뛰어난 성능을 입증한다.

제안 방법

• Transformer 인코더 블록 기반의 계층적 아키텍처를 사용하며, 프레임 수준 인코더와 세그먼트 수준 인코더를 모두 포함한다.
• 입력 음성 특징에 순서 정보를 주입하기 위해 사인파 위치 인코딩을 사용한다.
• 크기 M, 스트라이드 H인 슬라이딩 윈도우를 사용하여 입력 시퀀스를 겹치는 세그먼트로 나누며, 이는 N개의 프레임 수준 인코더에 의해 처리된다.
• 프레임 수준 인코더 간 메모리 연결을 갖춘 다중 헤드 자기 어텐션 메커니즘을 구현하여 세그먼트 간 은닉 상태를 유지한다.
• 각 프레임 수준 인코더 이후 통계 풀링을 적용하고, 최종적으로 두 개의 완전 연결 계층과 시그모이드 활성화 함수를 갖는 분류기 적용.
• 발화 수준의 화자 레이블 세트를 감독으로 사용하여 이진 교차 엔트로피 손실을 기반으로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 계층적 아키텍처가 H-벡터와 같은 RNN 기반 모델보다 약한 감독 하에 화자 식별에서 뛰어난 성능을 낼 수 있는가?
• RQ2 프레임 수준 인코더 간 메모리 메커니즘의 통합이 장기적 화자 표현 학습에 어떤 영향을 미치는가?
• RQ3 Transformer 블록 내 다중 헤드 어텐션은 TDNN 대비 겹치는 화자 특징 모델링에 얼마나 향상되는가?
• RQ4 슬라이딩 윈도우 분할에서 윈도우 크기(M)가 모델 성능에 어떤 영향을 미치는가?
• RQ5 제안된 T-벡터 모델은 Concat 대비 Overlap와 같은 다양한 데이터 구성 시나리오와 다양한 화자 수에 대해 잘 일반화되는가?

주요 결과

• Concat 시나리오에서 SWBC-S 데이터셋에서 T-벡터 모델은 H-벡터 대비 13.3%의 상대적 향상도를 기록했고, S-벡터 대비 10.5% 향상되었다.
• Overlap 시나리오에서는 H-벡터 대비 10.56%의 상대적 향상도와 S-벡터 대비 7.7%의 상대적 향상도를 기록했다.
• 메모리 메커니즘의 사용은 메모리가 없는 동일한 모델 대비 각각 10.6%와 7.7%의 상대적 성능 향상을 가져왔으며, 특히 장기 발화에서 두드러졌다.
• 프레임 수준 분할에 가장 적합한 윈도우 크기는 25 프레임이며, 이는 Concat 및 Overlap 설정 모두에서 최고의 성능을 낳는다.
• 발화당 화자 수가 증가할수록 성능이 떨어지며, 특히 세 화자 조건에서 겹치는 말소리의 복잡성으로 인해 가장 열악한 결과를 보였다.
• 제한된 훈련 데이터 조건에서도 모델은 강력한 강인성을 보이며, 대규모 약한 감독 학습에 대한 확장 가능성을 시사한다.