[논문 리뷰] A comparison of handcrafted, parameterized, and learnable features for speech separation

Wenbo Zhu, Mou Wang외 2명|arXiv (Cornell University)|2020. 11. 29.

Speech and Audio Processing참고 문헌 14인용 수 7

한 줄 요약

이 논문은 Conv-Tasnet 프레임워크 내에서 수작업으로 만든(STFT, MPGTF), 파rameterized(ParaMPGTF), 그리고 학습 가능한 특징을 비교한다. 학습 가능한 다중단계 감마톤 필터뱅크의 확장형인 ParaMPGTF를 도입하며, 디코더가 학습 가능한 경우 모든 특징 유형이 유사한 성능을 보이며, STFT가 약간 뛰어나지만, 가짜역행 변환 디코더를 사용할 경우 ParaMPGTF가 수작업 특징을 능가한다.

ABSTRACT

The design of acoustic features is important for speech separation. It can be roughly categorized into three classes: handcrafted, parameterized, and learnable features. Among them, learnable features, which are trained with separation networks jointly in an end-to-end fashion, become a new trend of modern speech separation research, e.g. convolutional time domain audio separation network (Conv-Tasnet), while handcrafted and parameterized features are also shown competitive in very recent studies. However, a systematic comparison across the three kinds of acoustic features has not been conducted yet. In this paper, we compare them in the framework of Conv-Tasnet by setting its encoder and decoder with different acoustic features. We also generalize the handcrafted multi-phase gammatone filterbank (MPGTF) to a new parameterized multi-phase gammatone filterbank (ParaMPGTF). Experimental results on the WSJ0-2mix corpus show that (i) if the decoder is learnable, then setting the encoder to STFT, MPGTF, ParaMPGTF, and learnable features lead to similar performance; and (ii) when the pseudo-inverse transforms of STFT, MPGTF, and ParaMPGTF are used as the decoders, the proposed ParaMPGTF performs better than the other two handcrafted features.

연구 동기 및 목표

• 동일한 Conv-Tasnet 프레임워크 내에서 수작업, 파arameterized, 학습 가능한 특징의 첫 번째 체계적 비교를 수행하는 것.
• 엔드 투 엔드 음성 분리에서 학습 가능한 특징이 수작업 및 파arameterized 대안을 일관되게 능가하는지 조사하는 것.
• 수작업 특징인 MPGTF를 학습 가능한 형태로 확장함으로써 파arameterized 특징의 효과성을 평가하는 것(즉, ParaMPGTF로 확장).
• 다양한 학습 설정 하에서 인코더와 디코더 특징의 선택이 분리 성능에 미치는 영향을 규명하는 것.

제안 방법

• 중심 주파수와 대역폭이 분리 네트워크와 함께 공동 최적화되는 파arameterized 다중단계 감마톤 필터뱅크(ParaMPGTF)를 제안한다.
• 표준 1D-conv 인코더와 디코더를 STFT, MPGTF, ParaMPGTF 또는 학습 가능한 필터로 교체함으로써 Conv-Tasnet 아키텍처를 변형한다.
• 시간-주파수 표현의 비음성 보장을 위해 인코더 출력에 ReLU 활성화 함수를 적용한다.
• 분리 성능 평가를 위해 최적화 손실로 척도 불변 소스 대 노이즈 비율(SI-SNR)을 사용한다.
• 학습 가능한 디코더 없이 재구성 품질을 비교하기 위해 STFT, MPGTF, ParaMPGTF의 가짜역행 변환을 디코더로 적용한다.
• 학습 가능한 디코더와 고정된(가짜) 역행 디코더를 모두 사용하여 특징 설계의 영향을 분리한다.

실험 결과

연구 질문

• RQ1 학습 가능한 디코더를 사용할 때, 수작업(STFT, MPGTF), 파arameterized(ParaMPGTF), 학습 가능한 특징이 Conv-Tasnet의 인코더로 사용되었을 경우 성능는 어떻게 비교되는가?
• RQ2 수작업 MPGTF의 파arameterized 확장형(즉, ParaMPGTF)이 학습 가능한 디코더를 사용할 경우 원래 MPGTF를 능가할 수 있는가?
• RQ3 수작업 특징의 디코더가 학습 가능한 역행 변환으로 교체되었을 때 성능이 향상되는가? 이 경우 ParaMPGTF는 어떻게 비교되는가?
• RQ4 (가짜) 역행 디코더를 사용할 경우, 학습 가능한 특징과 수작업/파arameterized 특징 간의 학습 수렴 동작은 어떻게 다를까?

주요 결과

• 디코더가 학습 가능한 경우, STFT, MPGTF, ParaMPGTF, 학습 가능한 특징이 모두 유사한 성능을 보이며, 테스트 세트에서 STFT가 가장 높은 SI-SNR 17.28 dB를 기록한다.
• 학습 가능한 디코더 설정에서 ParaMPGTF는 MPGTF를 略로 능가하며, 개발 세트에서 MPGTF의 17.20 dB 대비 테스트 세트에서 17.06 dB의 SI-SNR를 기록한다.
• (가짜) 역행 변환을 디코더로 사용할 경우, ParaMPGTF가 가장 뛰어난 성능을 보이며, 개발 세트에서 16.64 dB, 테스트 세트에서 16.04 dB의 SI-SNR를 기록한다. 이는 STFT(16.31/15.82 dB)와 MPGTF(16.32/15.73 dB)를 모두 능가한다.
• 수렴 곡선 분석 결과, 학습 가능한 특징이 수작업 및 파arameterized 특징보다 빠르게 수렴하며, 특히 MPGTF 대비 ParaMPGTF가 후기 학습 단계에서 더 가속된 수렴을 보였다.
• 최적화된 ParaMPGTF의 파라미터(c₁=25.09, c₂=9.198)는 수작업 MPGTF 값(c₁=24.7, c₂=9.265)과 유사하여, 디코더가 학습 가능한 경우 두 특징 간 유사한 성능를 설명한다.
• 매agnitude 스펙트로그램의 시각화 결과, ParaMPGTF와 MPGTF가 유사한 필터 응답을 생성함을 확인하였으며, 이는 파arameterized 설계의 효과성을 검증한다.