[논문 리뷰] DinoSR: Self-Distillation and Online Clustering for Self-supervised Speech Representation Learning

Alexander H. Liu, Heng-Jui Chang외 3명|arXiv (Cornell University)|2023. 05. 17.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

DinoSR는 원시 음성에서 의미 있는 이산 음성 단위를 학습하기 위해 자기 정복(self-distillation)과 온라인 클러스터링을 결합한 자기지도 학습 음성 표현 학습 프레임워크를 제안한다. 교사 네트워크를 통해 문맥 기반 임bedding을 생성하고, 온라인 클러스터링을 적용하여 텔레폰 유사 코드북을 발견하며, 이러한 단위를 학생 네트워크로 정복함으로써 DinoSR는 LibriSpeech 및 비지도 음성 단위 발견에서 최신 기술 수준(SOTA) 성능을 달성한다. 이로써 고품질의 해석 가능한 이산 단위를 인간의 음소 카테고리와 밀접하게 일치시킨다.

ABSTRACT

In this paper, we introduce self-distillation and online clustering for self-supervised speech representation learning (DinoSR) which combines masked language modeling, self-distillation, and online clustering. We show that these concepts complement each other and result in a strong representation learning model for speech. DinoSR first extracts contextualized embeddings from the input audio with a teacher network, then runs an online clustering system on the embeddings to yield a machine-discovered phone inventory, and finally uses the discretized tokens to guide a student network. We show that DinoSR surpasses previous state-of-the-art performance in several downstream tasks, and provide a detailed analysis of the model and the learned discrete units.

연구 동기 및 목표

• 개선된 성능과 해석 가능성에 기여하는 이산 단위를 활용한 자기지도 학습 음성 표현 학습 방법을 개발하기 위해.
• HuBERT와 같은 이전 방법에서 사용하는 반복적이고 히우리스틱 기반의 음성 단위 발견의 한계를 해결하기 위해, 온라인 클러스터링을 통한 엔드 투 엔드 학습을 가능하게 하기 위해.
• 자기 정복과 통합된 기울기 기반의 온라인 클러스터링 메커니즘을 통해 코드북 사용 및 클러스터 품질을 향상시키기 위해.
• 학습된 이산 단위가 의미적으로 유의미하고 인간이 정의한 음소 단위와 밀접하게 일치하는지 확인하기 위해.
• 다음 단계의 음성 인식 및 비지도 음성 단위 발견 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 모델은 마스크되지 않은 음성 입력에서 문맥 기반 임베딩을 추출하기 위해 교사 네트워크를 사용한다.
• 온라인 클러스터링 시스템은 교사의 임베딩을 처리하여 동적이고 기계에 의해 발견된 이산 단위의 코드북을 생성하며, 이는 텔레폰 인벤토리로 기능한다.
• 학생 네트워크는 온라인 클러스터 할당에서 유도된 디지타이징된 토큰을 타겟으로 하여 자기 정복을 통해 훈련된다.
• 교사 네트워크는 학생의 파라미터에 대한 지수 이동 평균을 통해 업데이트되어, 레이블이 없는 데이터에서도 안정적인 훈련을 가능하게 한다.
• 프레임 마스킹을 통한 언어 모델링(MLM)을 통합하여 문맥 기반 표현 학습을 강화한다.
• 최소한의 하이퍼파라미터로 엔드 투 엔드로 작동하며, 반복적 보정 또는 오프라인 클러스터링 단계를 회피한다.

Figure 1: An overview of DinoSR: the teacher network is an exponential moving average of the student network and takes unmasked speech as input to extract target features. Online clustering is applied to multiple layers of the teacher, each with a separate codebook. The student network is trained to

실험 결과

연구 질문

• RQ1 온라인 클러스터링과 자기 정복을 조합하면 자기지도 학습 음성 표현의 품질과 해석 가능성에 기여하는가?
• RQ2 DinoSR의 온라인 클러스터링을 통한 엔드 투 엔드 학습은 HuBERT와 같은 반복적이고 오프라인 방법과 비교해 성능 및 코드북 품질 측면에서 어떻게 다른가?
• RQ3 DinoSR에서 학습된 이산 단위가 인간이 정의한 음소 단위와 어느 정도 일치하는가?
• RQ4 제안된 방법은 음성 인식 및 비지도 음성 단위 발견 벤치마크에서 최신 기술 수준의 결과를 달성하는가?
• RQ5 코드북은 빈도가 높은 음소와 희귀 음소를 포함한 음성 단위의 장꼬리 분포를 얼마나 효과적으로 포착하는가?

주요 결과

• DinoSR는 LibriSpeech 검증 세트에서 코드북 퍼플렉서티를 179.2로 기록하여, VQ-APC(72.1)와 공동 훈련 APC(135.0)를 모두 초월하여 더 나은 코드북 사용 및 품질을 나타낸다.
• 모델은 클러스터 순도 0.19와 음소 순도 0.58를 기록하여, MFCC에 대한 오프라인 K-means(0.06 및 0.30)를 초월하고 HuBERT-iter2(0.15 및 0.61)와 유사하거나 이를 초월한다.
• DinoSR는 PNMI 점수 0.57을 기록하여 학습된 단위와 음소 카테고리 간의 강력한 일치를 보여준다.
• 256개의 코드북 중 217개의 활성 클러스터를 사용하여 높은 코드북 활용도와 세밀한 표현 학습을 나타낸다.
• P(phone|code)의 시각화 결과 각 코드워드가 주로 하나의 음소와 연관되어 있으며, 청각적으로 유사한 음소(예: /sp/과 /sil/)가 클러스터를 공유하고 있음을 확인할 수 있다.
• 코드북 매핑을 사용한 프레임 단위의 음소 오류율은 58.2%로, 학습된 단위가 음소 분류에 실용적으로 유용함을 확인한다.

Figure 2: The trade-off between performance (WER on LibriSpeech dev-other) and data efficiency (hours of speech the model processed in total during pre-training) for different methods.