[논문 리뷰] Serialized Output Training for End-to-End Overlapped Speech Recognition

Naoyuki Kanda, Yashesh Gaur외 3명|arXiv (Cornell University)|2020. 03. 28.

Speech Recognition and Synthesis인용 수 14

한 줄 요약

이 논문은 다중 발화자 겹침 음성 인식을 위한 새로운 엔드 투 엔드 프레임워크인 순차적 출력 훈련(Serialized Output Training, SOT)을 제안한다. SOT는 고정된 발화자 수와 상호 발화자 간 의존성 모델링의 부재와 같은 퍼미터이션 인variant 훈련(PIT)의 한계를 극복하기 위해 단일 출력 레이어를 사용해 발화자를 순차적으로 전사문자열을 생성한다. SOT는 LibriSpeech에서 최신 기준 WER 성능을 달성하며, 다양한 발화자 수에서 PIT를 능가하고, 이중 발화자 케이스에서 97%의 정확도로 정확한 발화자 수 계산을 가능하게 한다.

ABSTRACT

This paper proposes serialized output training (SOT), a novel framework for multi-speaker overlapped speech recognition based on an attention-based encoder-decoder approach. Instead of having multiple output layers as with the permutation invariant training (PIT), SOT uses a model with only one output layer that generates the transcriptions of multiple speakers one after another. The attention and decoder modules take care of producing multiple transcriptions from overlapped speech. SOT has two advantages over PIT: (1) no limitation in the maximum number of speakers, and (2) an ability to model the dependencies among outputs for different speakers. We also propose a simple trick that allows SOT to be executed in $O(S)$, where $S$ is the number of the speakers in the training sample, by using the start times of the constituent source utterances. Experimental results on LibriSpeech corpus show that the SOT models can transcribe overlapped speech with variable numbers of speakers significantly better than PIT-based models. We also show that the SOT models can accurately count the number of speakers in the input audio.

연구 동기 및 목표

• 퍼미터이션 인variant 훈련(PIT)의 다중 발화자 겹침 음성 인식에서의 한계를 해결하기 위해 고정된 발화자 수와 상호 발화자 간 의존성 모델링의 부재를 해결한다.
• 어떤 수의 발화자라도 인식할 수 있는 확장 가능한 엔드 투 엔드 ASR 프레임워크를 개발한다.
• 단일 마이크, 다중 발화자 겹침 음성 환경에서 전사 정확도와 발화자 수 추정 능력을 향상시킨다.
• 특히 더 많은 발화자 수에서 PIT보다 계산 복잡도를 감소시킨다.

제안 방법

• SOT는 다수의 발화자를 순차적으로 하나씩 생성하는 단일 출력 기반의 어텐션 기반 인코더-디코더(AED) 모델을 사용한다.
• 모델은 발화자 전환을 표시하기 위해 특수한 <sc> 토큰을 사용하여 디코더가 서로 다른 발화자로부터의 발화를 구분할 수 있도록 한다.
• 핵심 혁신은 소스 발화의 시작 시간을 활용해 O(S) 시간 복잡도로 추론할 수 있도록 하는 것으로, 여기서 S는 발화자 수이다.
• 프레임워크는 어텐션 메커니즘을 활용해 인코더 임베딩을 시간에 따라 완전히 왔다 갔다 스캔함으로써, 여러 겹친 발화자로부터 관련 세그먼트에 주의를 기울일 수 있다.
• SOT는 발화자에 특화된 어텐션(Speaker-aware Attention, SAA) 모듈을 통합하여 발화자별 컨텍스트에 따라 어텐션을 조정함으로써 성능을 향상시킨다.
• 모델는 발화자 시작 시간 순서로 정렬된 참조 전사문자열을 사용해 시퀀스 투 시퀀스 목표함수로 훈련된다.

실험 결과

연구 질문

• RQ1 단일 출력 AED 모델이 변수적인 수의 발화자를 가진 겹침 음성을 효과적으로 전사할 수 있으며, PIT를 능가할 수 있는가?
• RQ2 SOT의 순차적 발화자 출력 생성 방식이 PIT의 독립적 출력 헤드에 비해 상호 발화자 간 의존성을 더 잘 모델링할 수 있는가?
• RQ3 SOT가 발화의 시작 시간을 활용해 O(S) 복잡도로 효율적인 추론을 수행할 수 있는가?
• RQ4 SOT가 겹친 음성 입력에서 발화자 수를 얼마나 정확하게 추정할 수 있는가?
• RQ5 다양한 수의 발화자에서 SOT와 PIT 간의 단어 오류률(WER)은 어떻게 비교되는가?

주요 결과

• SOT 모델은 1명의 발화자 케이스에서 WER 4.6%, 2명의 발화자 케이스에서 11.2%, 3명의 발화자 케이스에서 24.0%를 기록하여, PIT 기반 모델보다 유의미하게 뛰어난 성능을 보였다.
• 이중 발화자 혼합 음성에서 SOT는 WER 11.2%를 기록했으며, 이는 PIT의 11.9%를 상회했고, 파라미터 수가 적은 135.6M 대비 160.7M를 사용한 점을 감안할 때 더욱 놀라운 성과였다.
• SOT는 다양한 발화자 수에 대해 강건한 성능을 보였으며, 단일 발화자 데이터에서도 성능 저하 없이, 때로는 단일 발화자 ASR 모델을 능가하는 성능을 보였다.
• 1명의 발화자 입력에서는 99.8%의 발화자 수 계산 정확도를, 2명의 발화자 입력에서는 97.0%의 정확도를 기록하여, 강력한 발화자 수 추정 능력을 입증했다.
• 3명의 발화자 SOT 훈련 속도는 2출력 PIT 대비 약 30% 빠르며, 더 많은 발화자 수에서 이 격차는 더욱 커졌다.
• 발화자에 특화된 어텐션(SAA)의 사용은 추가로 성능 향상을 이끌어내어, 더 작은 모델 크기로도 1,2,3명의 발화자 테스트 셋에서 WER를 16.5%로 낮추었다.