[논문 리뷰] End-to-End Speech Separation with Unfolded Iterative Phase Reconstruction

Zhong-Qiu Wang, Jonathan Le Roux외 2명|arXiv (Cornell University)|2018. 04. 26.

Speech and Audio Processing참고 문헌 31인용 수 31

한 줄 요약

이 논문은 깊이 신경망 내부에 전개된 반복적 위상 복원을 통합한 엔드 투 엔드 음성 분리 모델을 제안한다. MISI 알고리즘의 다중 반복을 통해 시간-주파수 마스크 네트워크를 훈련시켜 위상 일관성을 향상시킨다. 마스크 값이 [0,1]을 초월할 수 있도록 허용하는 새로운 활성화 함수를 사용함으로써, WSJ0-2mix 데이터셋에서 스케일 인variant SDR가 12.6 dB로 기존 최고 성능을 크게 뛰어넘는 새로운 최고 성능을 달성한다.

ABSTRACT

This paper proposes an end-to-end approach for single-channel speaker-independent multi-speaker speech separation, where time-frequency (T-F) masking, the short-time Fourier transform (STFT), and its inverse are represented as layers within a deep network. Previous approaches, rather than computing a loss on the reconstructed signal, used a surrogate loss based on the target STFT magnitudes. This ignores reconstruction error introduced by phase inconsistency. In our approach, the loss function is directly defined on the reconstructed signals, which are optimized for best separation. In addition, we train through unfolded iterations of a phase reconstruction algorithm, represented as a series of STFT and inverse STFT layers. While mask values are typically limited to lie between zero and one for approaches using the mixture phase for reconstruction, this limitation is less relevant if the estimated magnitudes are to be used together with phase reconstruction. We thus propose several novel activation functions for the output layer of the T-F masking, to allow mask values beyond one. On the publicly-available wsj0-2mix dataset, our approach achieves state-of-the-art 12.6 dB scale-invariant signal-to-distortion ratio (SI-SDR) and 13.1 dB SDR, revealing new possibilities for deep learning based phase reconstruction and representing a fundamental progress towards solving the notoriously-hard cocktail party problem.

연구 동기 및 목표

• 기존 방법이 복원 과정에서 복원 오차를 忽略하고 혼합 신호의 위상을 사용함으로써 발생하는 단일 채널 다중 화자 음성 분리에서의 위상 일관성 문제를 해결하기 위해.
• 매그니튜드 스펙트로그램에 대한 대체 손실이 아닌, 재구성된 타임도메인 신호에 직접 손실을 최적화하여 신호 재구성 품질을 향상시키기 위해.
• MISI와 같은 반복적 위상 복원 알고리즘을 통해 T-F 마스크 네트워크를 훈련시켜 딥러닝 기반 위상 복원을 가능하게 하고, 복원 과정과의 호환성을 확보하기 위해.
• 위상 일관성 있는 STFT 표현을 생성할 수 있도록 [0,1]을 초월하는 값을 허용하는 새로운 활성화 함수를 탐색하기 위해.
• 반복적 위상 복원을 통한 엔드 투 엔드 훈련이 음성 분리 성능에 상당한 향상을 가져오며, 오라클 수준의 성능에 가까워짐을 입증하기 위해.

제안 방법

• 모델은 깊은 신경망 내부에 짧은 시간 푸리에 변환(STFT)과 역 STFT(iSTFT)를 미분 가능 레이어로 통합하여 전체 신호 재구성 파이프라인의 엔드 투 엔드 최적화를 가능하게 한다.
• MISI(Multiple Input Spectrogram Inverse) 알고리즘의 K회 반복을 통해 네트워크를 훈련시키는 새로운 손실 함수 $\mathcal{L}_{\text{WA-MISI-K}}$ 를 사용하여 반복적 위상 복원 과정을 전개한다.
• T-F 마스크 네트워크는 위상 복구에 더 잘 맞는 새로운 유형의 활성화 함수—특히 볼록 소프트맥스와 기타 포화되지 않는 함수—를 사용하여 마스크 값이 1을 초월할 수 있도록 한다.
• 네트워크는 커리큘럼 학습 전략을 통해 훈련된다: 처음에는 $\mathcal{L}_{\text{WA}}$ 를 사용하고, 점차 $\mathcal{L}_{\text{WA-MISI-1}}$ 에서부터 $\mathcal{L}_{\text{WA-MISI-5}}$ 까지 진행되며, K=5가 성능 포화를 이룰 것으로 확인되었다.
• 딥 클러스터링과 마스크 추론을 결합한 카이머라++ 아키텍처를 사용하며, 양방향 LSTMs를 통해 맥락 모델링을 수행하고 임bedding에 단위 길이 정규화를 적용한다.
• 추론 시, 추정된 매그니튜드와 혼합 신호 위상을 사용하여 MISI를 5회 반복 적용하고, 최종 출력은 재구성된 타임도메인 신호가 된다.

실험 결과

연구 질문

• RQ1 반복적 위상 복원을 통한 엔드 투 엔드 훈련이 위상 일관성 문제를 줄여 음성 분리 성능을 크게 향상시킬 수 있는가?
• RQ2 T-F 마스크 값이 [0,1]을 초월하도록 허용하면 MISI와 같은 반복적 위상 복원 알고리즘과의 호환성이 향상되는가?
• RQ3 MISI의 다중 반복 훈련과 후처리 단계에서의 MISI 적용 또는 혼합 신호 위상만 사용하는 것과 비교해 볼 때 어떤 것이 더 우수한 성능을 낼 수 있는가?
• RQ4 미분 가능하고 전개된 MISI 과정이 깊이 신경망 프레임워크에 효과적으로 통합되어 매그니튜드와 위상의 공동 최적화가 가능한가?
• RQ5 웨이브폼 수준의 손실을 통한 엔드 투 엔드 최적화가 매그니튜드 스펙트로그램 기반의 대체 손실에 비해 얼마나 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 WSJ0-2mix 데이터셋에서 스케일 인variant SDR(SI-SDR)가 12.6 dB로 기록되어 새로운 최고 성능을 달성하였으며, 이는 이전 최고 기록보다 1.4 dB 높은 성능이다.
• 볼록 소프트맥스 활성화 함수를 사용하고 5회 MISI 반복 훈련을 수행한 모델(WA-MISI-5)은 SI-SDR 12.6 dB, SDR 13.1 dB를 기록하여 이전 최고 성능인 카이머라++ 네트워크를 각각 1.4 dB 높게 달성하였다.
• $\mathcal{L}_{\text{WA-MISI-5}}$ 를 사용한 훈련은 MISI 적용 시 테스트 성능 향상을 이끌어내며, MISI 미적용 시 SI-SDR 12.2 dB에서 MISI 5회 반복 적용 시 12.6 dB로 상승하였다.
• $\mathcal{L}_{\text{WA}}$ 만으로 훈련된 모델는 추가적인 MISI 후처리에 도움을 받지 못하며, 이는 네트워크가 훈련 중 혼합 신호 위상에 적응함을 시사한다.
• 비포화 및 비경계 마스크 활성화 함수(예: 볼록 소프트맥스)의 사용은 성능 향상에 필수적이며, 이는 위상 일관성 있는 STFT 재구성에 적합한 매그니튜드를 생성할 수 있도록 한다.
• 결과는 오라클 이상 비율 마스크(IRM) 성능(12.7 dB SI-SDR)에 매우 가까워졌으며, 이는 딥러닝 기반 위상 복원이 이상 성능에 가까운 갭을 크게 줄일 수 있음을 보여준다.