[논문 리뷰] vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations

Alexei Baevski, Steffen Schneider외 1명|ArXiv.org|2019. 10. 12.

Speech Recognition and Synthesis참고 문헌 40인용 수 311

한 줄 요약

vq-wav2vec은 wav2vec와 유사한 자체 감독 맥락 예측 작업을 통해 이산 음성 표현을 학습하고, Gumbel-Softmax 또는 online k-means로 양자화하며, 이산화된 음성에 대한 BERT 사전 학습으로 향상된 ASR 성능을 얻는다.

ABSTRACT

We propose vq-wav2vec to learn discrete representations of audio segments through a wav2vec-style self-supervised context prediction task. The algorithm uses either a gumbel softmax or online k-means clustering to quantize the dense representations. Discretization enables the direct application of algorithms from the NLP community which require discrete inputs. Experiments show that BERT pre-training achieves a new state of the art on TIMIT phoneme classification and WSJ speech recognition.

연구 동기 및 목표

• 이산 음성 단위를 학습시켜 음성 데이터에 NLP 기법을 직접 적용할 수 있도록 동기를 부여한다.
• wav2vec를 위한 고정 길이의 이산 코드를 생성하는 이산화 모듈을 개발한다.
• 이산화된 음성에 대한 BERT 사전 학습을 활용하여 다운스트림 ASR 성능을 향상시킨다.

제안 방법

• 이산 코드를 생성하기 위해 벡터 양자화 모듈로 wav2vec를 확장한다.
• dense 음성 표현의 코드북 기반 양자화를 위해 Gumbel-Softmax 또는 online k-means를 사용한다.
• 이산화된 음성에서 컨텍스트가 풍부한 표현을 얻기 위해 Bidirectional Transformer(BERT)를 학습한다.
• WSJ와 TIMIT에서 언어 모델의 유무에 따라 ASR 성능을 평가한다.

실험 결과

연구 질문

• RQ1 자체 감독 맥락 예측을 통해 학습된 이산 음성 표현이 ASR 작업에서 연속 표현과 비슷하거나 더 나은가?
• RQ2 이산화된 음성에 대한 BERT 사전 학습이 표준 벤치마크에서 다운스트림 ASR 정확도를 향상시키는가?
• RQ3 다른 양자화 전략(Gumbel-Softmax vs. k-means)이 성능 및 코드북 활용에 어떤 영향을 미치는가?
• RQ4 음성을 이산화할 때 비트 전송률, 코드북 크기, 음향 모델 성능 간의 Trade-off는 무엇인가?

주요 결과

• 이산화된 음성에 대한 BERT 사전 학습이 WSJ에서 nov92에서 언어 모델링 없이도 2.34 WER로 최첨단 결과를 달성한다.
• v q-wav2vec와 BERT의 결합이 TIMIT 음소 인식에서 강한 결과를 보여 업계 표준의 시점에서 11.64 PER를 달성했다(해당 시점의 최첨단).
• Gumbel-Softmax 및 k-means 양자화는 비교적 비슷한 성능을 나타내며, 큰 코드북은 BERT와 함께 사용할 때 wav2vec에 근접하게 차이를 좁힌다.
• 이산화는 음성에 NLP 스타일의 시퀀스 모델을 적용할 수 있게 하며, 표준 시퀀스-투-시퀀스 모델을 포함한 Librispeech에서의 결과가 유망하다.
• 실험 전반에 걸쳐, BERT를 ASR에 사용할 때 이산화된 표현은 종종 로그 멜 스펙트로그램 특성 및 밀집된 wav2vec 입력보다 우수한 성능을 보인다.