[논문 리뷰] Simultaneous Speech Recognition and Speaker Diarization for Monaural Dialogue Recordings with Target-Speaker Acoustic Models

Naoyuki Kanda, Shota Horiguchi외 4명|arXiv (Cornell University)|2019. 09. 17.

Speech Recognition and Synthesis참고 문헌 45인용 수 6

한 줄 요약

이 논문은 사전에 말하는 사람에 대한 지식 없이 단일 귀로 녹음된 대화에서 목표 말하기자 음성 인식(TS-ASR)을 사용하여 반복적인 방법을 제안한다. 말하기자 임베딩을 번갈아가며 추정하고, 추정된 임베딩을 기반으로 TS-ASR를 수행함으로써, 단어 오류율(WER)을 오라클 TS-ASR에 비해 2.1% 이내로 낮추고, 24.63%의 말하기자 분리 오류율(DER)을 달성하여 기존의 i-벡터 클러스터링 기반 분리 방법을 능가한다.

ABSTRACT

This paper investigates the use of target-speaker automatic speech recognition (TS-ASR) for simultaneous speech recognition and speaker diarization of single-channel dialogue recordings. TS-ASR is a technique to automatically extract and recognize only the speech of a target speaker given a short sample utterance of that speaker. One obvious drawback of TS-ASR is that it cannot be used when the speakers in the recordings are unknown because it requires a sample of the target speakers in advance of decoding. To remove this limitation, we propose an iterative method, in which (i) the estimation of speaker embeddings and (ii) TS-ASR based on the estimated speaker embeddings are alternately executed. We evaluated the proposed method by using very challenging dialogue recordings in which the speaker overlap ratio was over 20%. We confirmed that the proposed method significantly reduced both the word error rate (WER) and diarization error rate (DER). Our proposed method combined with i-vector speaker embeddings ultimately achieved a WER that differed by only 2.1 % from that of TS-ASR given oracle speaker embeddings. Furthermore, our method can solve speaker diarization simultaneously as a by-product and achieved better DER than that of the conventional clustering-based speaker diarization method based on i-vector.

연구 동기 및 목표

• 단일 귀에서 겹치는 음성 대화에서 동시에 자동 음성 인식(ASR)과 말하기자 분리를 수행하는 도전 과제를 해결한다.
• 사전에 말하기자 샘플이 필요로 하는 목표 말하기자 음성 인식(TS-ASR)의 한계를 극복하기 위해 말하기자에 의존하지 않는 운영 방식을 가능하게 한다.
• 겹침이 빈번한 대화 녹음에서 ASR 정확도와 말하기자 분리 성능을 동시에 향상시킨다.
• i-벡터 말하기자 임베딩만을 사용하여 견고한 성능을 달성하며, 더 구분력 있는 임베딩으로의 확장 가능성을 고려한다.

제안 방법

• 추정된 말하기자 임베딩을 사용하여 말하기자 임베딩 추정과 TS-ASR 추론을 번갈아 수행하는 반복 알고리즘을 제안한다.
• 전체 녹음에서 추출한 i-벡터의 클러스터링을 통해 말하기자 임베딩을 초기화함으로써 말하기자에 의존하지 않는 시작을 가능하게 한다.
• TS-ASR를 사용하여 각 추정된 말하기자 임베딩에 대해 단어 추측과 시간에 맞춰 정렬된 번역문을 생성한다.
• ASR 출력을 기반으로 말하기자 임베딩을 업데이트하여 반복적으로 말하기자 표현을 정밀화한다.
• 임베딩 순도를 향상시키고 오류 경고를 줄이기 위해 엄격한 침묵 필터링(0.5초 미만의 침묵 제외)을 적용한다.
• ASR에서 생성된 프레임 수준의 시간 정렬을 사용하여 말하기자 전환의 시작/종료 시간을 추출함으로써 종단 간 분리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 귀 대화 녹음에서 말하기자 신원에 대한 사전 지식 없이 TS-ASR를 어떻게 적용할 수 있는가?
• RQ2 말하기자 임베딩과 TS-ASR를 반복적으로 개선함으로써 겹침이 빈번한 환경에서 WER와 DER를 모두 향상시킬 수 있는가?
• RQ3 i-벡터 기반 클러스터링을 사용한 전통적 분리 방법과 비교할 때, 제안된 방법은 DER과 WER 측면에서 어떻게 성능을 내는가?
• RQ4 말하기자 임베딩의 품질이 최종 ASR 및 분리 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• 제안된 방법은 오라클 TS-ASR의 WER 37.96%에 비해 단지 2.1% 높은 39.03%의 단어 오류율(WER)을 달성하였다.
• 이 방법은 말하기자 분리 오류율(DER)을 24.63%로 낮추었으며, 기준 i-벡터 클러스터링 방법(32.37% DER)보다 뚜렷이 뛰어난 성능을 보였다.
• 다른 성별 조합의 경우, 이 방법은 거의 0에 가까운 혼동 및 오류 경고 오류를 기록하여 안정적이고 신뢰할 수 있는 말하기자 추적을 보였다.
• 사용자 데이터가 적은 상황에서도 제안된 방법은 기존의 i-벡터 기반 클러스터링 방법보다 낮은 DER을 달성하였고, x-벡터 기반 AHC 방법과도 유사한 성능을 보였다.
• ASR에서 생성한 번역문을 사용해 말하기자 임베딩을 정밀화하는 것이, 노이즈가 있는 침묵 프레임을 포함한 참조 분할을 사용하는 것보다 더 순수한 임베딩을 얻을 수 있음을 입증하였다.