[논문 리뷰] Continuous Speech Separation with Conformer

Sanyuan Chen, Yu Wu외 7명|arXiv (Cornell University)|2020. 08. 13.

Speech and Audio Processing참고 문헌 39인용 수 11

한 줄 요약

이 논문은 단일 및 다중 채널 환경에서 연속 음성 분離(CSS)을 위한 Conformer 기반 모델을 제안하며, 자기주의 주의와 컨볼루션 모듈을 활용하여 장거리 및 국소적 맥락을 포착하여 분리 성능을 향상시킨다. LibriCSS에서 최신 기술 성능(SOTA)을 달성하였고, 실제 회의 녹음에서 상당한 WER/SA-WER 향상을 보이며, 복잡한 실세계 대화 상황에서 RNN 및 트랜스포머보다 Conformer의 효과성을 입증한다.

ABSTRACT

Continuous speech separation plays a vital role in complicated speech related tasks such as conversation transcription. The separation model extracts a single speaker signal from a mixed speech. In this paper, we use transformer and conformer in lieu of recurrent neural networks in the separation system, as we believe capturing global information with the self-attention based method is crucial for the speech separation. Evaluating on the LibriCSS dataset, the conformer separation model achieves state of the art results, with a relative 23.5% word error rate (WER) reduction from bi-directional LSTM (BLSTM) in the utterance-wise evaluation and a 15.4% WER reduction in the continuous evaluation.

연구 동기 및 목표

• 실제 대화에서 다중 화자 간 겹침이 발생하는 상황에서 기존 음성 인식(ASR) 시스템이 실패하는 문제를 해결하기 위해.
• RNN 기반 모델 대비 Conformer 아키텍처가 연속 음성 분리(CSS) 성능을 향상시키는지 조사하기 위해.
• 특히 자연스러운 화자 전환과 겹침이 있는 실제 회의 녹음에서, 단일 채널 및 다중 채널 환경 모두에서 Conformer의 효과성을 평가하기 위해.
• 맥락 인식 모델링을 통해 음성 분리를 향상시켜 종단 간 대화 전사에서 단어 오류율(WER)과 화자 할당 WER(SA-WER)를 감소시키기 위해.
• 고겹침 영역에서는 성능 향상을 유지하면서도 저겹침 영역에서 성능 저하가 발생하지 않도록 하는 학습 및 추론 기법을 탐색하기 위해.

제안 방법

• 모델는 음성 분리 네트워크로 Conformer 아키텍처를 사용하며, 자기주의 주의, 컨볼루션 모듈, 피드포워드 네트워크를 통합하여 국소적 및 전역적 음성 맥락을 모델링한다.
• 입력 특징은 STFT 크기 스펙트럼과 다중 채널의 경우 상하좌우 위상 차이(IPD)를 포함하며, 단일 채널의 경우 STFT만 사용하고 시간에 따라 정규화된다.
• 각 화자에 대한 마스크는 깊은 신경망(Conformer)을 통해 예측되며, 혼합 STFT와 마스크의 원소별 곱셈을 통해 원천 신호를 재구성한다.
• 다중 채널 입력의 경우, 마스킹된 신호에 대해 MVDR beamforming을 적용하여 분리 품질을 향상시킨다.
• 화자가 한 명만 활성화된 경우 출력을 통합하는 병합 기법을 도입하여 잔여 노이즈로 인한 단어 삽입 오류를 감소시킨다.
• 노이즈에 강건한 학습을 위해 노이즈가 포함된 단일 화자 타겟을 사용하여 ASR 모델이 잔여 노이즈를 처리할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 Conformer 아키텍처는 단일 및 다중 채널 환경 모두에서 RNN 기반 모델보다 연속 음성 분리 성능을 뛰어나게 할 수 있는가?
• RQ2 Conformer가 장거리 및 국소적 맥락을 모델링할 수 있는 능력이 자연스러운 화자 겹침과 전환이 있는 실제 회의 녹음에서 성능 향상에 기여하는가?
• RQ3 더 긴 맥락 윈도우를 사용할 경우 성능에 어떤 영향을 미치며, 특히 고겹침 상황에서의 성능에 대해 어떻게 변화하는가?
• RQ4 기준 시스템 대비 Conformer 기반 분리 기법이 실제 대화 전사에서 WER 및 SA-WER를 얼마나 감소시키는가?
• RQ5 저겹침 영역에서 성능 저하가 발생하지 않도록 하면서도 고겹침 영역에서의 성능 향상을 유지하기 위해 필요한 학습 및 추론 수정 사항은 무엇인가?

주요 결과

• Conformer 기반 모델은 LibriCSS 데이터셋에서 최신 기술 성능(SOTA)을 달성하였으며, 단일 및 다중 채널 환경 모두에서 RNN 기반 기준 모델을 능가하였다.
• LibriCSS 데이터셋에서 Conformer-base 모델은 219시간의 훈련 데이터 기준으로 WER을 7.2% 상대적으로 감소시키고, SA-WER는 6.3% 상대적으로 감소시켰다.
• 1500시간의 훈련 데이터를 사용한 결과, 실제 회의 데이터셋에서 Conformer-base 모델은 분리 기반 시스템 대비 WER은 11.8% 상대적으로 감소시키고, SA-WER는 18.4% 상대적으로 감소시켰다.
• Conformer-large 모델은 노이즈 인식 학습과 병합 기법을 결합함으로써 더 뛰어난 강건성을 확보하였으며, SA-WER는 13.7% 상대적으로 감소시켰다.
• 병합 기법과 노이즈에 강건한 학습은 단어 삽입 오류를 크게 감소시키고, 특히 저겹침 영역에서 성능 향상에 기여하였다.
• Conformer 모델은 BLSTM 기준 모델이 저겹침 상황에서 오류가 증가하는 것과는 달리, 저겹침 상황에서도 성능 저하를 완화하였다.