[논문 리뷰] LaFurca: Iterative Refined Speech Separation Based on Context-Aware Dual-Path Parallel Bi-LSTM

Ziqiang Shi, Rujie Liu외 1명|arXiv (Cornell University)|2020. 01. 23.

Speech and Audio Processing참고 문헌 30인용 수 7

한 줄 요약

이 논문은 순차적 모델링 능력을 향상시킨 맥락 인식 이중 경로 병렬 BiLSTM 네트워크를 기반으로 하는 새로운 엔드 투 엔드 시간 도메인 음성 분리 모델인 LaFurca를 제안한다. 내부 및 외부 병렬 BiLSTM 모듈, 전역 맥락 인식, 나선형 다단계 정련을 도입함으로써 LaFurca는 WSJ0-2mix 데이터셋에서 20.55 dB SDRi와 20.35 dB SI-SDR를 기록하여 이전 방법들보다 1.5 dB 이상 뛰어난 최신 기술 성능을 달성한다.

ABSTRACT

Deep neural network with dual-path bi-directional long short-term memory (BiLSTM) block has been proved to be very effective in sequence modeling, especially in speech separation, e.g. DPRNN-TasNet \cite{luo2019dual}. In this paper, we propose several improvements of dual-path BiLSTM based network for end-to-end approach to monaural speech separation. Firstly a dual-path network with intra-parallel BiLSTM and inter-parallel BiLSTM components is introduced to reduce performance sub-variances among different branches. Secondly, we propose to use global context aware inter-intra cross-parallel BiLSTM to further perceive the global contextual information. Finally, a spiral multi-stage dual-path BiLSTM is proposed to iteratively refine the separation results of the previous stages. All these networks take the mixed utterance of two speakers and map it to two separate utterances, where each utterance contains only one speaker's voice. For the objective, we propose to train the network by directly optimizing the utterance level scale-invariant signal-to-distortion ratio (SI-SDR) in a permutation invariant training (PIT) style. Our experiments on the public WSJ0-2mix data corpus results in 20.55dB SDR improvement, 20.35dB SI-SDR improvement, 3.69 of PESQ, and 94.86\% of ESTOI, which shows our proposed networks can lead to performance improvement on the speaker separation task. We have open-sourced our re-implementation of the DPRNN-TasNet in https://github.com/ShiZiqiang/dual-path-RNNs-DPRNNs-based-speech-separation, and our LaFurca is realized based on this implementation of DPRNN-TasNet, it is believed that the results in this paper can be reproduced with ease.

연구 동기 및 목표

• STFT 기반 음성 분리 방법의 한계, 즉 위상 불일치와 최적화되지 않은 신호 표현 방식을 해결하기 위해.
• 더 높은 순차적 모델링 능력을 갖춘 엔드 투 엔드 시간 도메인 모델링을 통해 단음성 음성 분리 성능을 향상시키기 위해.
• 이중 경로 BiLSTM 아키텍처에서 병렬 브랜치 간 성능 변동을 줄이기 위해 공유 가중치 행렬과 특징 평균화를 도입하기 위해.
• 내부 및 외부 병렬 브랜치 간 상호 참조를 허용함으로써 전역 맥락 인식 능력을 향상시키기 위해.
• 다단계 이중 경로 BiLSTM 설계를 통해 분리 결과를 반복적으로 정련함으로써 성능 향상을 달성하기 위해.

제안 방법

• 모델는 공유 가중치 행렬과 특징 맵 평균화를 통해 브랜치 간 성능 변동을 줄이기 위해 내부 병렬 및 외부 병렬 BiLSTM 구성 요소를 포함한 이중 경로 BiLSTM 아키텍처를 사용한다.
• 전역 맥락 인식을 향상시키기 위해 내부 및 외부 병렬 브랜치 간 상호 참조를 허용하는 글로벌 맥락 인식 이중 병렬 BiLSTM 모듈을 도입한다.
• 각 단계에서 이전 단계의 출력을 다음 단계의 입력으로 피드백함으로써 반복적으로 분리 결과를 정련하는 나선형 다단계 이중 경로 BiLSTM 아키텍처를 설계한다. 각 단계는 원본 혼합 신호와 이전 단계의 추정치를 사용한다.
• 우선순위 기반 훈련(PIT)을 사용하여 문장 수준의 비스듬한 신호 대 잡음 비율(SI-SDR)을 직접 최적화한다.
• 모델는 DPRNN-TasNet 프레임워크의 확장으로 구현되었으며, 재현 가능성을 위해 GitHub에 공개된 코드를 사용한다.
• 훈련 과정은 다단계 반복적 정련 전략을 사용하며, 각 단계가 이전 단계를 개선하고, 최종 단계에서 최고의 성능을 달성한다.

실험 결과

연구 질문

• RQ1 공유 가중치를 가진 병렬 BiLSTM 모듈이 이중 경로 BiLSTM 기반 음성 분리에서 성능 변동을 줄일 수 있는가?
• RQ2 내부 및 외부 병렬 브랜치 간 상호 참조를 통해 전역 맥락 인식을 도입하면 분리 품질이 향상되는가?
• RQ3 이중 경로 BiLSTM 블록을 사용한 반복적 다단계 정련이 엔드 투 엔드 음성 분리에서 일관된 성능 향상을 이끌 수 있는가?
• RQ4 제안된 LaFurca 모델은 WSJ0-2mix 데이터셋에서 SDRi, SI-SDR, PESQ 및 ESTOI 측정치에서 최신 기술 방법과 비교해 어떻게 성능를 내는가?
• RQ5 GPU 메모리 제약 조건 하에서 병렬 처리, 맥락 인식, 반복적 정련을 조합했을 때 모델 성능 향상의 정도는 어느 정도인가?

주요 결과

• LaFurca는 WSJ0-2mix 데이터셋에서 20.55 dB SDRi와 20.35 dB SI-SDR를 기록하여 이전 방법들보다 뚜렷이 뛰어난 최신 기술 성능을 달성했다.
• 8단계와 9단계를 가진 모델(LaFurca(8,9))가 최고의 성능를 기록했으며, 깊은 다단계 반복적 정련의 효과를 입증했다.
• 제거 실험 결과, 병렬 BiLSTM, 맥락 인식 이중 경로, 반복적 정련 각각의 구성 요소가 성능 향상에 기여했으며, LaFurca(6,6)는 DPRNN-TasNet 대비 0.6 dB SDRi 향상을 보였다.
• LaFurca는 3.69 PESQ와 94.86% ESTOI를 기록하여 분리된 음성의 청취 품질과 이해 가능성 수준이 매우 높음을 시사한다.
• 훈련 곡선 분석 결과 두 단계로도 수렴이 가능했으며, 이는 더 깊은 스택이 항상 필요하지 않지만 계산 자원이 허락한다면 유용할 수 있음을 시사한다.
• 모델 성능가 STFT 기반 방법의 상한선을 7.5 dB 이상 초월하여 엔드 투 엔드 시간 도메인 학습의 우수성을 확인했다.