[논문 리뷰] Improving Accent Identification and Accented Speech Recognition Under a Framework of Self-supervised Learning

Keqi Deng, Songjun Cao외 1명|arXiv (Cornell University)|2021. 09. 15.

Speech Recognition and Synthesis참고 문헌 30인용 수 4

한 줄 요약

이 논문은 종단 간 강세 식별 및 강세가 있는 음성 인식을 위한 자기지도 학습 프레임워크를 제안한다. 이는 종단 간 강세 식별을 위한 표준편차 제약 손실(SDC-loss)과 동적이고 강세에 따라 달라지는 ASR를 위한 프레임 수준의 강세 특징을 사용한다. 이 방법은 AESRC2020 데이터셋에서 강세 독립 기반 모델 대비 6.5% 상대적 WER 감소를 달성하였으며, 960시간의 레이블이 없는 LibriSpeech 데이터를 통한 공동 사전 훈련과 미세조정을 통해 뚜렷한 성능 향상을 보였다.

ABSTRACT

Recently, self-supervised pre-training has gained success in automatic speech recognition (ASR). However, considering the difference between speech accents in real scenarios, how to identify accents and use accent features to improve ASR is still challenging. In this paper, we employ the self-supervised pre-training method for both accent identification and accented speech recognition tasks. For the former task, a standard deviation constraint loss (SDC-loss) based end-to-end (E2E) architecture is proposed to identify accents under the same language. As for accented speech recognition task, we design an accent-dependent ASR system, which can utilize additional accent input features. Furthermore, we propose a frame-level accent feature, which is extracted based on the proposed accent identification model and can be dynamically adjusted. We pre-train our models using 960 hours unlabeled LibriSpeech dataset and fine-tune them on AESRC2020 speech dataset. The experimental results show that our proposed accent-dependent ASR system is significantly ahead of the AESRC2020 baseline and achieves $6.5\%$ relative word error rate (WER) reduction compared with our accent-independent ASR system.

연구 동기 및 목표

• 자동 음성 인식(ASR) 시스템에서 강세로 인한 음성 변동성을 모델링하는 데 도전하는 것.
• 새로운 표준편차 제약 손실(SDC-loss)을 통해 과적합을 방지하는 강력한 종단 간 강세 식별 모델을 개발하는 것.
• 프레임 수준의 신뢰도에 따라 동적으로 가중치가 부여되는 프레임 수준의 강세 특징을 활용하는 동적 강세 의존 ASR 시스템을 설계하는 것.
• 정답 강세 카테고리가 제공되지 않는 저자원 환경에서, 식별 모델로부터 신뢰할 수 있는 강세 특징을 생성함으로써 효과적인 ASR를 가능하게 하는 것.
• 대규모 레이블이 없는 데이터를 통한 자기지도 사전 훈련이 강세 식별 및 강세가 있는 음성 인식 향상에 효과적인지 입증하는 것.

제안 방법

• 과적합을 줄이기 위해 프레임 수준의 강세 예측 일관성을 강제하는 표준편차 제약 손실(SDC-loss)을 제안한다.
• 각 음성 프레임에 대해 강세를 예측하고 평균 풀링을 통해 예측을 집계하는 종단 간(E2E) 강세 식별 모델을 설계한다.
• 강세 식별 모델에서 파생된 프레임 수준의 강세 특징을 도입하며, 이는 프레임 수준의 신뢰도에 따라 동적으로 가중치가 부여된다.
• Transformer 인코더의 어텐션 메커니즘에 프레임 수준의 강세 특징을 바이어스로 삽입하는 강세 의존 ASR 시스템을 개발한다.
• 이중 단계 훈련 전략을 적용한다: wav2vec 2.0를 사용해 960시간의 레이블이 없는 LibriSpeech 데이터에서 사전 훈련한 후, AESRC2020 데이터셋에서 미세조정한다.
• 각 프레임의 강세 특징 중요도가 학습된 가중치 $ w_i $에 의해 결정되는 가중치 강세 바이어스 메커니즘을 사용하여 동적 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 새로운 SDC-loss를 갖춘 자기지도 프레임워크가 동일한 언어 내 종단 간 강세 식별에 효과적인가?
• RQ2 프레임 수준의 강세 특징을 통합함으로써 강세 의존 ASR 시스템 성능이 어떻게 향상되는가?
• RQ3 정답 강세 레이블이 제공되지 않을 경우, 자기지도 사전 훈련 모델이 강세가 있는 음성 인식을 얼마나 향상시킬 수 있는가?
• RQ4 ASR 아키텍처에서 강세 관련 바이어스의 최적의 위치와 형태는 무엇인가? WER 감소를 최대화하기 위해선 어떻게 해야 하는가?
• RQ5 ASR에서 동적 가중치 부여된 프레임 수준의 강세 특징은 고정 또는 균일한 바이어스 삽입 방식보다 어떻게 더 우수한가?

주요 결과

• 제안된 강세 의존 ASR 시스템은 AESRC2020 데이터셋에서 강세 독립 기반 모델 대비 6.5% 상대적 단어오류률(WER) 감소를 달성하였다.
• 프레임 수준의 강세 특징을 사용하는 모델(AR₅)은 정답 강세 레이블이 제공되지 않은 상황에서도 전체 테스트 세트에서 WER 7.02%를 기록하였으며, 진정한 레이블을 갖춘 시스템의 성능에 근접하였다.
• 제거 실험 결과, CNN 및 Transformer 레이어 이후에 바이어스를 삽입하는 것이 가장 우수한 성능을 내었으며, 이는 이전이나 이후에 삽입하는 것보다 뛰어났다.
• 프레임 수준의 강세 특징에 동적 가중치 $ w_i $를 사용함으로써 균일한 가중치보다 성능 향상이著명하게 향상되었으며, AR₅가 AR₇보다 우수한 성능을 보였다.
• 4-그램 언어 모델을 사용한 모델은 전체 테스트 세트에서 4.52% WER를 기록하였으며, AESRC2020 기반 모델 대비 36.1% 상대적 WER 감소를 기록하였다.
• SDC-loss는 다양한 강세 카테고리에서 일관된 성능과 제거 실험에서의 강건성을 통해 과적합을 효과적으로 줄이는 것으로 입증되었다.