[논문 리뷰] Unsupervised Speaker Adaptation using Attention-based Speaker Memory for End-to-End ASR

Leda Sarı, Niko Moritz외 2명|arXiv (Cornell University)|2020. 02. 14.

Speech Recognition and Synthesis참고 문헌 30인용 수 4

한 줄 요약

이 논문은 신경 터미널 기계를 모델로 삼은 주의 기반의 화자 메모리에 기반한 비지도 화자 적응 방법을 제안한다. 모델은 학습 데이터에서 추출한 화자 i-벡터를 메모리 백에 저장하고, 현재 음성 맥락에 따라 주의 메커니즘을 사용해 동적으로 관련된 화자 표현(M-벡터)을 검색하고 조합한다. 이는 프레임 수준에서 수행되며, 음성 특징 또는 은닉 레이어에 추가된다. 이 방법은 테스트 시점의 화자 임베딩이나 적응 데이터가 필요 없이도 i-벡터 기반 기준과 유사하거나 더 낮은 단어 오류율을 달성하며, 특히 화자 전환 상황에서 뛰어난 성능을 보인다.

ABSTRACT

We propose an unsupervised speaker adaptation method inspired by the neural Turing machine for end-to-end (E2E) automatic speech recognition (ASR). The proposed model contains a memory block that holds speaker i-vectors extracted from the training data and reads relevant i-vectors from the memory through an attention mechanism. The resulting memory vector (M-vector) is concatenated to the acoustic features or to the hidden layer activations of an E2E neural network model. The E2E ASR system is based on the joint connectionist temporal classification and attention-based encoder-decoder architecture. M-vector and i-vector results are compared for inserting them at different layers of the encoder neural network using the WSJ and TED-LIUM2 ASR benchmarks. We show that M-vectors, which do not require an auxiliary speaker embedding extraction system at test time, achieve similar word error rates (WERs) compared to i-vectors for single speaker utterances and significantly lower WERs for utterances in which there are speaker changes.

연구 동기 및 목표

• 학습 시점의 화자와 다를 경우 엔드 투 엔드 ASR 성능 저하 문제를 해결하기 위해.
• 테스트 시점에 화자 레이블이나 i-벡터 계산이 필요 없는 비지도 프레임 수준의 화자 적응 방법을 개발하기 위해.
• 입력 특징 외에도 인코더의 중간 레이어에 대한 화자 적응의 효과를 조사하기 위해.
• 실제 환경에서 흔한 문제인 화자 전환 조건 하에서의 방법의 강건성 평가하기 위해.
• 엔드 투 엔드 ASR에서 화자 표현 학습을 위한 메모리 증강 네트워크의 잠재력을 탐색하기 위해.

제안 방법

• 모델은 학습 데이터에서 추출한 화자 i-벡터를 저장하는 메모리 백을 사용한다.
• 현재 음성 맥락에 기반해 메모리 항목에 대한 주의 가중치를 계산하여 i-벡터의 가중 조합인 M-벡터를 생성한다.
• M-벡터는 음성 특징 또는 중간 인코더 레이어의 출력에 이어붙인 후 네트워크로 투영된다.
• 이 방법은 WSJ 및 TED-LIUM2 데이터셋에서 학습된 통합 CTC 및 주의 기반 인코더-디코더 엔드 투 엔드 ASR 아키텍처에 적용된다.
• 메모리 읽기 동작은 신경 터미널 기계를 영감으로 받아, 동적이고 맥락 의존적인 화자 표현 적응을 가능하게 한다.
• 이 방법은 비지도 방식이다: 테스트 시점의 화자 정보나 i-벡터 추출이 필요 없으며, 메모리는 학습 데이터로부터 고정된다.

실험 결과

연구 질문

• RQ1 주석 기반 메모리 메커니즘이 테스트 시점의 화자 레이블이 없이도 엔드 투 엔드 ASR 성능을 향상시킬 수 있는가?
• RQ2 입력 특징 외에 중간 인코더 레이어를 적응시키는 것이 엔드 투 엔드 ASR에서 입력 특징만 적응시키는 것보다 더 나은 성능을 내는가?
• RQ3 화자 전환 조건 하에서 제안된 M-벡터 방법은 i-벡터 기반 적응과 비교해 단어 오류율에서 어떻게 성능을 내는가?
• RQ4 메모리 증강 화자 적응 메커니즘이 명시적인 적응 데이터 없이도 화자 전환에 강건한가?
• RQ5 화자 수준의 i-벡터와 발화 수준의 i-벡터를 사용했을 때의 적응 성능에 미치는 영향은 무엇이며, M-벡터 방법은 이를 어떻게 비교하는가?

주요 결과

• M-벡터 방법은 제3 인코더 레이어를 적응시켰을 때 TED-LIUM2 테스트 세트에서 11.0%의 WER를 기록하여 최고의 i-벡터 성능과 동일했다.
• 합성 화자 전환을 포함한 발화에서는 M-벡터 시스템이 i-벡터 기반 기준 대비 4%p의 절대적 감소를 보였다 (15.9% → 11.9% WER).
• 테스트 세트에서 M-벡터 방법은 발화 수준 i-벡터 시스템보다 6.8% 상대적으로 우수했다 (11.8% → 11.0% WER).
• 제3 인코더 레이어를 적응시킬 경우 i-벡터와 M-벡터 모두 최고의 성능를 기록했으며, 이는 중간 레이어 적응이 입력 레이어 적응보다 더 효과적임을 시사한다.
• M-벡터 방법은 어떤 테스트 시점 i-벡터 계산도 필요 없이 화자 수준 i-벡터와 유사한 성능를 달성했으며, 이는 비지도적이고 효율적인 성질을 입증한다.
• 이 방법은 화자 전환에 대해 뛰어난 강건성을 보였으며, 주의 기반 메모리 읽기 메커니즘에 의해 가능해진 프레임 수준의 적응의 이점을 확인했다.