[논문 리뷰] What all do audio transformer models hear? Probing Acoustic Representations for Language Delivery and its Structure

Jui Shah, Yaman Kumar외 2명|arXiv (Cornell University)|2021. 01. 02.

Speech Recognition and Synthesis참고 문헌 58인용 수 6

한 줄 요약

이 논문은 wav2vec2.0과 Mockingjay, 두 가지 최신의 음성 트랜스포머 모델을 대상으로, 학습된 표현이 어떤 언어학적 및 음성적 특징을 포착하는지 이해하기 위해 탐색한다. 원어민, 비원어민, 독서형, 즉흥적 말하기 등 다양한 유형의 말하기에서 47개의 탐색 작업을 수행한 결과, wav2vec2.0은 음성과 유창성 특징을 잘 모델링하는 것으로 나타났고, Mockingjay는 발음과 문법적 특징에서 더 우수한 성능을 보였으며, 성능은 계층과 말하기 유형에 따라 크게 달라졌다.

ABSTRACT

In recent times, BERT based transformer models have become an inseparable part of the 'tech stack' of text processing models. Similar progress is being observed in the speech domain with a multitude of models observing state-of-the-art results by using audio transformer models to encode speech. This begs the question of what are these audio transformer models learning. Moreover, although the standard methodology is to choose the last layer embedding for any downstream task, but is it the optimal choice? We try to answer these questions for the two recent audio transformer models, Mockingjay and wave2vec2.0. We compare them on a comprehensive set of language delivery and structure features including audio, fluency and pronunciation features. Additionally, we probe the audio models' understanding of textual surface, syntax, and semantic features and compare them to BERT. We do this over exhaustive settings for native, non-native, synthetic, read and spontaneous speech datasets

연구 동기 및 목표

• wav2vec2.0과 Mockingjay와 같은 고차원 음성 트랜스포머 모델의 표현에 포함된 언어학적 및 음성적 특징이 무엇인지 조사하기 위해.
• 원어민, 비원어민, 독서형, 즉흥적 말하기 등 다양한 말하기 유형에서 wav2vec2.0과 Mockingjay의 표현 능력을 비교하기 위해.
• 특정 특징(예: 음성, 유창성, 초성적 특징, 문법적 특징)을 추출하기 위해 최적의 모델과 계층을 식별하기 위해.
• 학습된 표현이 다양한 말하기 환경과 응용 분야(예: 화자 인식, 음소 분류)로의 전이 가능성 평가하기 위해.
• 실제 응용에서 특징 추출을 위한 모델 선택을 안내하기 위해 계층 간 특징 학습의 체계적 맵을 제공하기 위해.

제안 방법

• 음성, 유창성, 초성적 발음, 텍스트 기반 특징이라는 네 가지 고차원 언어학적 범주에 걸쳐 47개의 탐색 작업을 설계하고 구현하기 위해.
• 각 입력 음성 샘플에 대해 wav2vec2.0과 Mockingjay 모델의 여러 계층에서 중간 계층 표현을 추출하기 위해.
• 각 계층의 표현에 선형 탐색기를 훈련하여 특정 언어학적 특징을 분류하고, 정확도와 같은 지표를 사용해 학습 능력을 평가하기 위해.
• 원어민-독서, 원어민-즉흥, 비원어민-독서 등 다양한 말하기 유형에서 평가하여 내성성과 일반화 능력 평가하기 위해.
• 가장 성능이 좋은 계층, 마지막 계층, 모든 계층의 가중 평균에서 추출한 표현을 사용해 VoxCeleb에서의 화자 인식과 LibriSpeech에서의 음소 분류 등의 후행 작업 수행하기 위해.
• 계층과 작업 간 성능를 비교하여 계층별 특징 학습 패tern과 모델별 강점을 식별하기 위해.

실험 결과

연구 질문

• RQ1 wav2vec2.0과 Mockingjay의 중간 표현에서 어떤 언어학적 및 음성적 특징이 포착되는가?
• RQ2 다양한 말하기 유형(원어민-독서, 원어민-즉흥, 비원어민-독서)에서 특징 탐색 성능는 어떻게 달라지는가?
• RQ3 wav2vec2.0과 Mockingjay 중 어느 모델이 어떤 종류의 특징을 더 효과적으로 학습하고, 어느 계층에서인가?
• RQ4 이러한 모델에서 학습된 표현은 화자 인식 및 음소 분류와 같은 후행 작업으로 어떻게 전이되는가?
• RQ5 이 모델들이 즉흥적 또는 비원어민 말하기와 같은 통제되지 않은 환경에 얼마나 잘 일반화되는가?

주요 결과

• wav2vec2.0은 음성 및 유창성 관련 탐색 작업에서 Mockingjay를 능가하며, 최적 계층을 사용해 화자 인식 작업에서 91%의 정확도를 기록했다.
• Mockingjay는 특히 통제된 원어민-독서 환경에서 발음 및 문법적 특징에서 wav2vec2.0을 능가한다.
• 음성 특징에 가장 적합한 계층은 wav2vec2.0의 첫 번째 계층이며, 발음 특징에 가장 적합한 계층은 여섯 번째 계층이다.
• 후행 작업 성능는 모델과 계층에 따라 크게 달라지며, wav2vec2.0은 모든 계층의 가중 평균을 사용해 화자 인식에서 87%의 정확도를 기록한 반면, Mockingjay는 26%에 그쳤다.
• 두 모델 모두 즉흥적 및 비원어민 말하기에서 성능이 떨어져, 말하기 유형이 화자 유형보다 표현 품질에 더 큰 영향을 미친다.
• 놀랍게도, 음성 트랜스포머는 깔끔하고 통제된 원어민 말하기 환경에서 텍스트 기반 특징에 대해 BERT를 능가하지만, 즉흥적 환경으로의 일반화에는 실패한다.