[논문 리뷰] FurcaNet: An end-to-end deep gated convolutional, long short-term memory, deep neural networks for single channel speech separation

Ziqiang Shi, Huibin Lin외 5명|arXiv (Cornell University)|2019. 02. 02.

Speech and Audio Processing참고 문헌 25인용 수 15

한 줄 요약

FurcaNet는 원음 음성 웨이브포맷을 직접 처리하는 엔드 투 엔드 딥 러닝 모델로, 게이트드 컨volution 네트워크(GCNN), 양방향 LSTM(BiLSTM), 그리고 딥 네트워크(DNN)를 결합하여 단일 채널 음성 분리에 사용된다. 이 모델은 순열 불변 훈련(PIT)을 통해 문장 수준의 신호 대 잡음비(SDR)를 최적화하여 WSJ0-2mix 데이터셋에서 13.3 dB의 SDR 향상을 달성했으며, 이는 이전 최고 성능 기준을 뛰어넘고 STFT 기반 성능 상한선을 초월한다.

ABSTRACT

Deep gated convolutional networks have been proved to be very effective in single channel speech separation. However current state-of-the-art framework often considers training the gated convolutional networks in time-frequency (TF) domain. Such an approach will result in limited perceptual score, such as signal-to-distortion ratio (SDR) upper bound of separated utterances and also fail to exploit an end-to-end framework. In this paper we present an integrated simple and effective end-to-end approach to monaural speech separation, which consists of deep gated convolutional neural networks (GCNN) that takes the mixed utterance of two speakers and maps it to two separated utterances, where each utterance contains only one speaker's voice. In addition long short-term memory (LSTM) is employed for long term temporal modeling. For the objective, we propose to train the network by directly optimizing utterance level SDR in a permutation invariant training (PIT) style. Our experiments on the public WSJ0-2mix data corpus demonstrate that this new scheme can produce more discriminative separated utterances and leading to performance improvement on the speaker separation task.

연구 동기 및 목표

• STFT 기반 음성 분리 방법의 한계를 해결하기 위해, 위상 불일치와 비최적의 신호 변환으로 인해 SDR 성능에 상한선이 존재하는 문제를 해결한다.
• 중간 시간-주파수 도메인 표현을 피하고 직접 원음 음성 웨이브포맷을 처리하는 완전한 엔드 투 엔드 프레임워크를 개발한다.
• 마스크 기반 또는 임베딩 기반 손실 함수에 의존하는 대신, 청각적 지표인 SDR를 최적화하여 음성 분리 성능을 향상시킨다.
• SDR 최적화에서 발생하는 훈련 불안정성을 해결하기 위해 국소 최소값을 벗어나기 위한 재초기화 기반 훈련 기법을 도입한다.
• GCNN와 BiLSTM를 활용한 엔드 투 엔드 시간 도메인 학습이 청결한 조건과 노이즈 있는 조건에서 모두 STFT 기반 기준을 뛰어넘을 수 있음을 입증한다.

제안 방법

• 모델은 커널 크기가 80과 1000인 1D 게이트드 컨volution 레이어 5개의 스택을 사용하며, 훈련 안정성을 높이기 위해 레이어 정규화를 적용한다.
• GCNN 이후 양방향 장기 단기 기억망(BiLSTM) 레이어를 적용하여 장기적인 시간적 패턴을 모델링하며, 각 방향에 1000개의 유닛을 사용한다.
• 최종 표현을 처리하기 위해 2층의 DNN을 사용하며, 각 층에 2000개의 뉴런을 두어 두 개의 분리된 음성 웨이브포맷을 생성한다.
• 손실 함수는 순열 불변 SDR(uSDR)로, 훈련 중에 가장 높은 성능을 보인 화자 순열의 음성 대 잡음비를 최소화한다.
• 훈련 기법으로, 검증 세트에서의 초기 SDR가 임계값(예: -30 dB)을 초과할 경우 네트워크를 재초기화하고 다시 훈련하는 방식을 적용하여 국소 최소값을 피한다.
• Adam 옵티마이저를 사용하고 학습률를 점진적으로 감소시키며, 8개의 문장으로 이루어진 미니배치를 사용하여 훈련한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 시간 도메인 음성 분리 모델이 SDR 성능 측면에서 STFT 기반 방법을 능가할 수 있는가?
• RQ2 게이트드 컨볼루션 네트워크와 양방향 LSTMs를 조합함으로써 지역적 및 장기적 시간적 의존성을 효과적으로 포착하여 음성 분리 성능 향상을 이룰 수 있는가?
• RQ3 순열 불변 훈련을 통한 문장 수준 SDR 직접 최적화가 마스크 기반 또는 클러스터링 기반 방법보다 더 나은 분리 품질을 이끌 수 있는가?
• RQ4 SDR가 미분 가능성이 없고 불안정한 손실 함수임에도 불구하고, SDR 최적화 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ5 제안된 아키텍처가 미리 보지 못한 화자에게도 잘 일반화되어 화자 독립적인 성능을 달성할 수 있는가?

주요 결과

• FurcaNet는 WSJ0-2mix 데이터셋에서 이전 최고 성능 기준인 Chimera++(12.0 dB)을 뛰어넘어 13.3 dB의 SDR 향상을 달성했다.
• 모델은 STFT 기반 방법의 성능 상한선을 돌파했으며, 이는 이상 비율 마스크(IRM) 성능로 제한되는 12.7 dB의 SDRi 성능 상한선을 초월함을 의미한다.
• uSDR 손실 함수와 재초기화 훈련 기법을 조합함으로써, 표준 훈련에서 국소 최소값에 갇히는 것을 방지하고 더 높은 SDR 값으로 수렴할 수 있었다.
• 엔드 투 엔드 시간 도메인 접근은 STFT, 위상 가정, 역 STFT가 필요 없게 하여 근사 오차를 감소시키고 청각적 품질을 향상시켰다.
• GCNN, BiLSTM, DNN을 하나의 아키텍처에 통합함으로써 혼합된 음성 내의 스펙트럼적 및 시간적 구조를 효과적으로 모델링할 수 있었다.
• 모델은 새로운 화자에 대해서도 뛰어난 강인성을 보이며, 화자 독립적 일반화 능력을 확인했다.