[논문 리뷰] Recognizing Multi-talker Speech with Permutation Invariant Training

Dong Yu, Xuankai Chang외 1명|arXiv (Cornell University)|2017. 03. 22.

Speech Recognition and Synthesis참고 문헌 31인용 수 12

한 줄 요약

이 논문은 단일 채널 혼합 오디오에서 사전 분리 없이 다수의 음성 스트림을 직접 인식하는 엔드 투 엔드 다중화자 음성 인식을 위한 순열 치환 훈련(PIT-ASR)을 제안한다. 가능한 모든 화자-출력 할당에 대해 교차 엔트로피를 최소화하고 최적의 순열을 선택함으로써, PIT-ASR는 레이블 순열 문제와 화자 추적 문제를 통합적으로 해결하며, 0dB SNR에서 상대적으로 WER을 40% 감소시키고 20dB SNR에서 단일 화자 성능에 가까운 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel technique for direct recognition of multiple speech streams given the single channel of mixed speech, without first separating them. Our technique is based on permutation invariant training (PIT) for automatic speech recognition (ASR). In PIT-ASR, we compute the average cross entropy (CE) over all frames in the whole utterance for each possible output-target assignment, pick the one with the minimum CE, and optimize for that assignment. PIT-ASR forces all the frames of the same speaker to be aligned with the same output layer. This strategy elegantly solves the label permutation problem and speaker tracing problem in one shot. Our experiments on artificially mixed AMI data showed that the proposed approach is very promising.

연구 동기 및 목표

• 사전 분리 없이 단일 채널 혼합 오디오 신호에서 다수의 겹치는 음성 스트림을 인식하는 문제를 해결하기 위해.
• 통합 훈련 프레임워크를 사용하여 다중화자 ASR에서 내재된 레이블 순열 문제와 화자 추적 문제를 해결하기 위해.
• 순열 치환 손실을 사용한 엔드 투 엔드 훈련이 낮은 SNR 조건에서도 강건한 인식을 달성할 수 있음을 보여주기 위해.
• 다양한 신호 대 잡음비(SNR) 조건에서 성능을 비교함으로써, 인위적으로 혼합된 AMI 데이터에 대한 PIT-ASR의 효과성을 평가하기 위해.

제안 방법

• 모델은 4층, 각 층당 768개 유닛을 가지는 깊은 양방향 LSTM 아키텍처를 사용하며, 40차원의 로그 필터뱅크 특징을 처리한다.
• 교차 엔트로피(CE)를 진짜와 예측된 세노네 포스터리어 간의 손실로 사용하여 순열 치환 훈련(PIT)을 적용한다. 재구성 손실이 아닌 것이다.
• 각 발화에서 가능한 모든 화자-출력 할당을 평가하고, 가장 낮은 CE를 가진 할당을 선택하여 역전파를 수행한다.
• 훈련 시 미니배치 크기를 8개의 발화로 설정하고, 기울기 클리핑(임계값 0.0003)을 사용하여 안정성을 확보한다.
• 추론 시에는 두 출력을 별도로 디코딩하고, 쌍별 평가를 통해 각 발화당 더 나은 WER을 선택한다.
• 두 화자에 대한 세노네 정렬은 단일 화자 기준 모델에서 취득하며, 짧은 발화는 침묵 상태로 패딩한다.

실험 결과

연구 질문

• RQ1 사전 분리 없이 순열 치환 훈련을 엔드 투 엔드 다중화자 음성 인식에 효과적으로 적용할 수 있는가?
• RQ2 직접 혼합된 다중화자 음성에 적용했을 때 PIT-ASR이 기존 단일화자 모델을 능가하는가?
• RQ3 신호 대 잡음비(SNR)가 감소함에 따라 고에너지 및 저에너지 화자 간 성능은 어떻게 변화하는가?
• RQ4 PIT-ASR는 동시에 다수의 화자를 인식하면서 암묵적으로 음성 분리를 수행할 수 있는가?

주요 결과

• 0dB SNR에서 PIT-ASR는 고에너지 화자에게서 49.74%의 WER, 저에너지 화자에게서 56.88%의 WER를 기록하였으며, 기준 모델 대비 상대적 WER 감소율이 40%에 이르렀다.
• 20dB SNR에서 고에너지 화자의 WER(29.68%)는 단일화자 기준 모델(26.6%)에 가까워져 강건성을 입증했다.
• 저에너지 화자 역시 크게 향상되었으며, SNR 20dB에서 WER가 기준 모델의 118.7%에서 80.83%로 감소했지만 여전히 성능 제한이 존재했다.
• 모델은 가시화 결과를 통해 암묵적인 음성 분리를 수행하고 있음을 입증했으며, 낮은 SNR에서도 두 화자 모두 정확한 단어 인식을 달성했다.
• SNR 감소에 따른 성능 저하가 고에너지 화자에게서는 점진적이었지만, 저에너지 화자에게서는 심각했으며, 이는 약한 신호 추적의 과제를 드러냈다.