[논문 리뷰] Improved RawNet with Feature Map Scaling for Text-independent Speaker Verification using Raw Waveforms

Jee-weon Jung, Seung-bin Kim외 3명|arXiv (Cornell University)|2020. 04. 01.

Speech Recognition and Synthesis참고 문헌 28인용 수 7

한 줄 요약

이 논문은 원시 파형을 직접 처리함으로써 음성 인식 성능을 햖थ고하는 데 목적이 있는 RawNet에 대해 기능 맵 스케일링(FMS)을 제안한다. FMS는 학습 가능한 시그모이드 기반 스케일 벡터를 사용하여 컨볼루션 특징 맵을 적응적으로 스케일링함으로써 비문자 기반의 화자 확인 성능을 향상시킨다. 이 방법은 다중 곱셈, 덧셈 또는 둘 다 적용하여 분류에 유리한 필터를 강조하며, VoxCeleb1에서 원래 RawNet의 EER을 절반으로 줄이는 48.33%의 상대 오차율(RER) 감소를 달성했고, 확장된 프로토콜에서 최신 기술 수준(SOTA)을 약간 뛰어넘는 성능을 보였다.

ABSTRACT

Recent advances in deep learning have facilitated the design of speaker verification systems that directly input raw waveforms. For example, RawNet extracts speaker embeddings from raw waveforms, which simplifies the process pipeline and demonstrates competitive performance. In this study, we improve RawNet by scaling feature maps using various methods. The proposed mechanism utilizes a scale vector that adopts a sigmoid non-linear function. It refers to a vector with dimensionality equal to the number of filters in a given feature map. Using a scale vector, we propose to scale the feature map multiplicatively, additively, or both. In addition, we investigate replacing the first convolution layer with the sinc-convolution layer of SincNet. Experiments performed on the VoxCeleb1 evaluation dataset demonstrate the effectiveness of the proposed methods, and the best performing system reduces the equal error rate by half compared to the original RawNet. Expanded evaluation results obtained using the VoxCeleb1-E and VoxCeleb-H protocols marginally outperform existing state-of-the-art systems.

연구 동기 및 목표

• 원시 파형을 직접 처리함으로써 음성 특징 엔지니어링 없이도 비문자 기반 화자 확인 성능을 향상시키는 것.
• 기존의 어텐션 메커니즘이 소프트맥스를 통한 배타적 선택 방식으로 인해 과도하게 분류에 중요한 정보를 손실할 수 있는 한계를 해결하는 것.
• 학습 가능한 시그모이드 기반 스케일 벡터를 도입하여 필터 반응을 독립적으로 조절함으로써 기능 맵 표현을 향상시키는 것.
• 초기 컨볼루션 레이어를 SincNet에서 유래한 싱크-컨볼루션 레이어로 교체함으로써 원시 파형에서의 주파수 특성 모델링을 향상시키는지 조사하는 것.
• 원시 파형 처리 환경에서 GRU 기반 집계 방식을 자기 어텐션 풀링 메커니즘으로 교체할 경우의 영향을 평가하는 것.

제안 방법

• 학습 가능한 스케일 벡터와 시그모이드 활성화 함수를 사용하여 필터 차원을 따라 기능 맵을 조절하는 기능 맵 스케일링(FMS) 메커니즘을 제안한다.
• FMS를 세 가지 구성으로 적용: 곱셈 스케일링, 덧셈 스케일링, 둘 다 순차적으로 적용하여 분류 성능을 향상시킨다.
• 모든 잔차 블록 이후에 FMS를 적용하여 시퀀스 집계 이전에 프레임 수준의 표현을 정교화한다.
• RawNet의 첫 번째 컨볼루션 레이어를 SincNet에서 유래한 싱크-컨볼루션 레이어로 교체하여 원시 파형에서 주파수 특성 패턴을 더 잘 포착하도록 한다.
• GRU 레이어를 자기 어텐션 풀링 및 멀티헤드 자기 어텐션 풀링으로 교체하여 문장 수준의 표현 학습 성능을 평가한다.
• 삼중체 손실을 사용하여 모델을 훈련시키고, VoxCeleb1 및 확장된 프로토콜에서 등가 오차율(EER)을 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 표준 어텐션 메커니즘과 비교해 볼 때, 시그모이드 기반의 학습 가능한 스케일링이 기능 맵 필터에 적용될 경우 화자 확인 성능 향상에 기여하는가?
• RQ2 곱셈 스케일링과 덧셈 스케일링을 동시에 적용할 경우, 각각을 별도로 적용할 때보다 더 나은 분류 표현을 도출하는가?
• RQ3 초기 컨볼루션 레이어를 싱크-컨볼루션 레이어로 교체할 경우 원시 파형 모델링 성능이 향상되는가?
• RQ4 자기 어텐션 풀링이 원시 파형 기반 화자 임베딩 추출에 있어 GRU 기반 집계 방식보다 성능이 뛰어나게 되는가?
• RQ5 확장된 평가 프로토콜인 VoxCeleb1-E 및 VoxCeleb1-H에서 제안된 FMS 기반 시스템은 최신 기술 수준(SOTA) 방법과 비교해 어떤가?

주요 결과

• 제안된 FMS 방법은 원래 RawNet 대비 등가 오차율(EER)을 50% 감소시켰으며, 표준 VoxCeleb1 평가 프로토콜에서 EER 2.46%를 달성했다.
• 곱셈 및 덧셈 FMS를 순차적으로 적용한 시스템(#11)이 가장 뛰어난 성능을 보였고, EER은 2.56%였다.
• 첫 번째 컨볼루션 레이어를 싱크-컨볼루션 레이어로 교체함으로써 성능이 추가로 향상되었으며, EER은 추가로 3.12% 감소했다(시스템 #15), 이는 RawNet2로 불린다.
• RawNet2는 VoxCeleb1-E 프로토콜에서 EER 2.87%를 기록했고, VoxCeleb1-H 프로토콜에서는 4.89%를 기록하여 기존 최신 기술 수준(SOTA) 시스템을 약간 뛰어넘는 성능을 보였다.
• 자기 어텐션 풀링 및 멀티헤드 자기 어텐션 풀링은 원래 GRU 기반 집계 방식보다 성능 향상에 실패했으며, 이는 이 아키텍처에서 GRU가 여전히 더 효과적임을 시사한다.
• 압축-흥장 및 CBAM 모듈은 약간의 성능 향상을 보였지만, FMS 기반 방법은 이들보다 뚜렷하게 뛰어난 성능을 보이며 제안된 스케일링 메커니즘의 효과성을 입증했다.