[논문 리뷰] textless-lib: a Library for Textless Spoken Language Processing

Eugene Kharitonov, Jade Copet외 9명|arXiv (Cornell University)|2022. 02. 15.

Speech and dialogue systems인용 수 4

한 줄 요약

textless-lib는 PyTorch 기반의 라이브러리로, 음성에서 단위로의 인코딩(S2U), 단위 모델링(U2U), 단위에서 음성으로의 디코딩(U2S)을 위한 모듈형이고 재사용 가능한 구성 요소를 제공함으로써 텍스트 없는 음성 언어 처리를 단순화합니다. 사전 훈련된 모델을 사용하고 최소한의 코드로도 종단 간 연구를 가능하게 하여, 저자원 또는 비텍스트 기반의 음성 언어를 다루는 NLP 및 음성 연구자들이 접근하기 쉬운 장벽을 크게 낮춥니다.

ABSTRACT

Textless spoken language processing research aims to extend the applicability of standard NLP toolset onto spoken language and languages with few or no textual resources. In this paper, we introduce textless-lib, a PyTorch-based library aimed to facilitate research in this research area. We describe the building blocks that the library provides and demonstrate its usability by discuss three different use-case examples: (i) speaker probing, (ii) speech resynthesis and compression, and (iii) speech continuation. We believe that textless-lib substantially simplifies research the textless setting and will be handful not only for speech researchers but also for the NLP community at large. The code, documentation, and pre-trained models are available at https://github.com/facebookresearch/textlesslib/ .

연구 동기 및 목표

• 텍스트 없는 음성 언어 처리 실험을 설정하고 실행하는 데 현재 요구되는 여러 스크립트와 저장소의 복잡성을 줄이기 위해.
• 원시 음성에서 번역이나 어휘집 없이 직접 언어 모델링을 가능하게 하여 저자원 및 비기록 언어에 대한 연구를 지원하기 위해.
• 텍스트를 초월해 음성 표현에서 억양, 어조, 비어벌 발성, 발화자 정체성을 모델링함으로써 NLP의 기능을 확장하기 위해.
• 종단 간 텍스트 없는 처리 파이프라인을 위한 S2U 인코더, U2U 언어 모델, U2S 디코더를 통합한 통합적이고 사용하기 쉬운 라이브러리를 제공하기 위해.
• 사전 훈련된 모델과 즉시 사용 가능한 예제 작업을 제공하여 음성 표현 탐색, 압축, 생성 분야의 연구를 가속화하기 위해.

제안 방법

• HuBERT 및 CPC와 같은 모델을 사용하여 원시 음성을 이산 단위로 매핑하는 음성에서 단위로의 인코딩(S2U)을 위한 모듈형 PyTorch 구성 요소를 제공합니다.
• 학습된 표현에 대한 k-means 클러스터링을 통해 단위 양자화를 지원하여, 텍스트 감독 없이도 음성을 이산 토큰화할 수 있도록 합니다.
• Transformer 기반 모델을 포함한 사전 훈련된 U2U 언어 모델을 포함하여 이산 단위의 시퀀스 모델링을 지원하며, 음성 계속 이어하기나 감정 전이와 같은 작업을 가능하게 합니다.
• Tacotron2 및 WaveGlow와 같은 U2S 디코더를 통합하여 이산 단위에서 음성을 재구성함으로써 완전한 텍스트 없는 음성 생성 및 재생성 기능을 제공합니다.
• U2U 모델을 건너뛰어 직접 음성 재생성 기능을 제공함으로써 손실 압축과 비트레이트 분석을 단위 시퀀스와 엔트로피 코딩을 통해 가능하게 합니다.
• LibriSpeech 및 LibriLight 데이터셋에 사전 훈련된 모델을 사용하는 예제 스크립트를 포함한 통합 API를 제공하여 탐색, 압축, 계속 이어하기 작업을 수행합니다.

실험 결과

연구 질문

• RQ1 통합 라이브러리가 텍스트 없는 음성 언어 처리 실험의 엔지니어링 오버헤드를 크게 줄일 수 있는가?
• RQ2 자기학습 기반 음성 표현(HuBERT, CPC 등)이 얼마나 많은 발화자 특이 정보를 포함하고 있으며, 양자화 과정이 이 정보에 어떤 영향을 미치는가?
• RQ3 HuBERT에서 유도된 이산 단위를 사용할 경우 어떤 압축률과 음성 품질의 상호 보완적 특성을 달성할 수 있으며, 이는 어휘 크기와 어떻게 스케일링되는가?
• RQ4 텍스트 없는 언어 모델이 단일 음성 프롬프트에서 자연스러운 음성 계속 이어짐을 얼마나 잘 생성할 수 있는가?
• RQ5 이 라이브러리는 텍스트 감독 없이도 고품질의 음성 감정 전환 및 발화자 전환을 가능하게 하는가?

주요 결과

• HuBERT 및 CPC의 연속적 표현은 두 층의 Transformer를 사용해 발화자 식별을 성공적으로 수행할 수 있을 정도로 충분한 발화자 특이 정보를 포함하고 있으며, 양자화된 표현은 더 높은 발화자 불변성을 보입니다.
• 이산화된 HuBERT 단위는 LibriLight에서 WER 12.3%를 기록하며 최대 1.5 비트/초의 압축률을 달성하여 극한의 음성 압축 잠재력을 보여줍니다.
• wav2vec 2.0 기반 S2U 모델과 KenLM 언어 모델을 사용한 전체 GSLM 파이프라인을 통해 다양한 랜덤 시드에서 일관되고 다양한 음성 계속 이어짐을 생성함을 표 4에서 확인할 수 있습니다.
• 100단위 HuBERT를 사용하여 1.5 bps의 비트레이트로 직접 음성 재생성을 가능하게 하여 압축과 재구성 품질 간의 균형을 확보합니다.
• 발화자 탐지, 압축, 계속 이어하기 작업의 구현은 몇 줄의 코드로만 가능하여 라이브러리의 사용성과 접근 용이성을 입증합니다.
• textless-lib의 사전 훈련된 모델과 예제 파이프라인은 GitHub에 공개되어 있어 텍스트 없는 음성 연구에서 빠른 프로토타이핑과 재현 가능성을 보장합니다.