[논문 리뷰] Dual-Path Transformer Network: Direct Context-Aware Modeling for End-to-End Monaural Speech Separation

Jingjing Chen, Qirong Mao외 1명|arXiv (Cornell University)|2020. 07. 28.

Speech and Audio Processing참고 문헌 32인용 수 36

한 줄 요약

듀얼-패스 트랜스포머 네트워크(DPTNet)를 도입하여 엔드-투-엔드 단일 채널 스피치 분리에 직접 컨텍스트 인지 모델링을 가능하게 하며, WSJ0-2mix에서 최첨단 결과를 달성하고 LS-2mix에서도 강력한 성능을 보인다.

ABSTRACT

The dominant speech separation models are based on complex recurrent or convolution neural network that model speech sequences indirectly conditioning on context, such as passing information through many intermediate states in recurrent neural network, leading to suboptimal separation performance. In this paper, we propose a dual-path transformer network (DPTNet) for end-to-end speech separation, which introduces direct context-awareness in the modeling for speech sequences. By introduces a improved transformer, elements in speech sequences can interact directly, which enables DPTNet can model for the speech sequences with direct context-awareness. The improved transformer in our approach learns the order information of the speech sequences without positional encodings by incorporating a recurrent neural network into the original transformer. In addition, the structure of dual paths makes our model efficient for extremely long speech sequence modeling. Extensive experiments on benchmark datasets show that our approach outperforms the current state-of-the-arts (20.6 dB SDR on the public WSj0-2mix data corpus).

연구 동기 및 목표

• 모노어얼 스피치 분리의 직접 컨텍스트 상호작용을 가능하게 하여 간접적이며 다단계 컨텍스트 조건화보다 개선을 추구한다.
• 극히 긴 음성 시퀀스를 효율적으로 처리할 수 있는 엔드-투-엔드 시간 도메인 모델을 개발한다.
• 위치 인코딩 없이 순서를 학습하는 개선된 트랜스포머를 도입하기 위해 순환 구성요소를 통합한다.
• 긴 시퀀스에서 지역적 및 전역 의존성을 모델링하면서도 계산적으로 실행 가능하도록 듀얼-패스 아키텍처를 활용한다.

제안 방법

• Conv-TasNet를 모델로 한 인코더-분리기-디코더 프레임워크를 사용하며 1-D 합성곱 인코더와 전치 합성곱 디코더를 갖는다.
• 세분화, intratransformer(로컬) 및 intertransformer(글로벌) 블록, 중첩 추가(overlap-add)로 구성된 듀얼-패스 트랜스포머 처리 단계를 도입한다.
• 포지션 인코딩 없이 시퀀스의 순서를 학습하기 위해 트랜스포머의 피드포워드 네트워크의 첫 번째 완전 연결 층을 순환 신경망으로 대체한다.
• 직접 컨텍스트 상호작용을 가능하게 하기 위해 intra- 및 inter-트랜스포머 모두에 다중-헤드 자기주목(transformer)를 적용한다.
• 목표로 SI-SNR(Scale-Invariant SDR)을 최대화하기 위해 permutation invariant training(uPIT)으로 학습한다.

실험 결과

연구 질문

• RQ1 트랜스포머를 통한 직접 컨텍스트 인식 모델링이 기존의 RNN/CNN 기반 모델과 비교해 엔드투엔드 단일 채널 스피치 분리를 개선할 수 있는가?
• RQ2 듀얼-패스 트랜스포머 구조가 분리 품질을 보존하면서 매우 긴 음성 시퀀스의 효율적 모델링을 가능하게 하는가?
• RQ3 피드포워드 네트워크에 RNN을 통합하여 위치 인코딩 없이 순서 정보를 학습할 수 있는가?
• RQ4 표준 벤치마크(WSJ0-2mix 및 LS-2mix)에서 DPTNet의 상대적 이점은 최첨단 방법과 비교해 어떤 차이가 있는가?

주요 결과

• DPTNet은 WSJ0-2mix에서 20.2 dB SI-SNR 및 20.6 dB SDR를 달성하고 모델 크기는 2.69M로 이전 최첨단을 능가한다.
• LS-2mix에서 DPTNet은 16.2 dB SI-SNR 및 16.8 dB SDR를 달성하여 DSP-TasNet 및 DPRNN 기반의 베이스라인을 능가한다.
• 모델은 Conv-TasNet 및 DPRNN를 포함한 베이스라인에 대해 데이터셋 간 강력한 일반화 성능을 보이며 우위를 유지한다.
• 듀얼-패스 설계는 로컬-글로벌 직접 컨텍스트 상호작용을 가능하게 하면서도 계산적 실용성을 유지하는 긴 시퀀스 모델링을 가능하게 한다.