[논문 리뷰] Opening the Black Box of wav2vec Feature Encoder

Kwanghee Choi, Eun Jung Yeo|arXiv (Cornell University)|2022. 10. 27.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 합성 사인파 신호를 입력하여 wav2vec의 컨볼루션 특징 인코더 내부 표현을 조사한다. 잠재 공간은 기본 주파수, 형광대, 진폭 및 정밀한 시간 정보를 인코딩하며, 유사성에 따라 유사한 음성 신호가 가까이 위치하는 메트릭 공간을 형성한다. 이는 모델이 학습한 표현의 해석 가능성을 제공한다.

ABSTRACT

Self-supervised models, namely, wav2vec and its variants, have shown promising results in various downstream tasks in the speech domain. However, their inner workings are poorly understood, calling for in-depth analyses on what the model learns. In this paper, we concentrate on the convolutional feature encoder where its latent space is often speculated to represent discrete acoustic units. To analyze the embedding space in a reductive manner, we feed the synthesized audio signals, which is the summation of simple sine waves. Through extensive experiments, we conclude that various information is embedded inside the feature encoder representations: (1) fundamental frequency, (2) formants, and (3) amplitude, packed with (4) sufficient temporal detail. Further, the information incorporated inside the latent representations is analogous to spectrograms but with a fundamental difference: latent representations construct a metric space so that closer representations imply acoustic similarity.

연구 동기 및 목표

• wav2vec의 컨볼루션 특징 인코더의 잠재 표현에 포함된 음성 정보가 무엇인지 이해하기 위해.
• 특징 인코더가 이산적인 음성 단위를 학습하는지, 또는 연속적인 표현을 학습하는지 조사하기 위해.
• 잠재 공간의 구조를 분석하고, 음성 유사성을 반영하는 메트릭 공간을 형성하는지 확인하기 위해.
• 기본 주파수, 형광대, 진폭 및 시간 동역학과 같은 다양한 음성 구성 요소가 학습된 표현에 기여하는 정도를 평가하기 위해.

제안 방법

• 특징 인코더를 조사하기 위해 단순 사인파로 구성된 합성 오디오 신호를 입력으로 사용하였다.
• 주파수, 진폭 및 위상과 같은 다양한 사인파 파rameter에서 모델의 잠재 표현을 분석하였다.
• 잠재 공간 내 임베딩의 공간적 배열을 검토하여, 가까운 위치가 음성 유사성을 반영하는지 평가하였다.
• 개별 음성 특징의 기여를 분리하기 위해 제어된 사인파 조합을 사용한 실험을 수행하였다.
• 유사점과 주요 차이점을 규명하기 위해 학습된 표현을 스펙트로그램과 비교하였다.
• 기본 주파수, 형광대, 진폭 및 시간 동역학의 기여를 분리하기 위해 감소 분석 기법을 적용하였다.

실험 결과

연구 질문

• RQ1 wav2vec 특징 인코더의 잠재 공간에 어떤 특정 음성 특징이 인코딩되어 있는가?
• RQ2 유사한 음성 신호가 가까운 표현을 생성하는 메트릭 공간이 잠재 공간에 형성되는가?
• RQ3 기본 주파수, 형광대, 진폭 및 시간 동역학은 학습된 표현에 어떻게 기여하는가?
• RQ4 표현의 구조와 정보 내용 측면에서 스펙트로그램과 어느 정도 유사한가?
• RQ5 특징 인코더가 이산적인 음성 단위를 학습하는 것으로 해석할 수 있는가, 아니면 연속적인 음성 특성을 포착하는가?

주요 결과

• 잠재 표현은 학습된 공간의 핵심 구성 요소로 기본 주파수를 인코딩한다.
• 형광대가 특징 인코더의 잠재 공간에 강력하게 표현되어 있어 언어적 민감성을 나타낸다.
• 진폭 변조는 잠재 공간에 그대로 유지되고 구별 가능하여 에너지 동역학을 반영한다.
• 세밀한 음성 변동을 포착할 수 있을 정도로 시간적 세부 정보가 충분히 해상도가 높다.
• 잠재 공간은 유사한 음성 신호가 가까운 표현을 생성하는 메트릭 공간을 형성한다.
• 표현은 스펙트로그램과 유사하지만 메트릭 구조에서 본질적으로 다름으로써, 음성 유사성의 직접적 비교가 가능하다.