[논문 리뷰] Test-Time Adaptation Toward Personalized Speech Enhancement: Zero-Shot Learning with Knowledge Distillation

Sunwoo Kim, Minje Kim|arXiv (Cornell University)|2021. 05. 08.

Speech and Audio Processing인용 수 4

한 줄 요약

이 논문은 지식 정복을 이용하여 개인화된 음성 증강을 위한 제로샷 테스트 시점 적응 방법을 제안한다. 여기서는 대규모 사전 훈련된 교사 모델의 가짜 타겟을 사용하여 작고 효율적인 학생 모델을 미세조정하며, 테스트 사용자의 청소된 음성 데이터가 전혀 필요 없이 더 큰 일반화 모델보다 뛰어난 성능을 달성한다. 이 방법은 개인정보 보호를 실현하며, 예측 불가능한 사용자 및 노이즈 조건에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

In realistic speech enhancement settings for end-user devices, we often encounter only a few speakers and noise types that tend to reoccur in the specific acoustic environment. We propose a novel personalized speech enhancement method to adapt a compact denoising model to the test-time specificity. Our goal in this test-time adaptation is to utilize no clean speech target of the test speaker, thus fulfilling the requirement for zero-shot learning. To complement the lack of clean utterance, we employ the knowledge distillation framework. Instead of the missing clean utterance target, we distill the more advanced denoising results from an overly large teacher model, and use it as the pseudo target to train the small student model. This zero-shot learning procedure circumvents the process of collecting users' clean speech, a process that users are reluctant to comply due to privacy concerns and technical difficulty of recording clean voice. Experiments on various test-time conditions show that the proposed personalization method achieves significant performance gains compared to larger baseline networks trained from a large speaker- and noise-agnostic datasets. In addition, since the compact personalized models can outperform larger general-purpose models, we claim that the proposed method performs model compression with no loss of denoising performance.

연구 동기 및 목표

• 자원이 제한된 장치에 효과적인 음성 증강 모델을 구현하면서 특정 사용자에게 맞춤형 성능을 제공하는 데 도전한다.
• 사용자가 청소된 음성 샘플을 제공해야 하는 것을 방지하기 위해 음성 증강에서 제로샷 학습을 가능하게 하여 개인정보 및 실용성 문제를 해결한다.
• 지식 정복을 통해 테스트 시점에서 사용자 음성과 음향 환경에 맞게 작고 효율적인 학생 모델을 개인화하는 테스트 시점 적응 프레임워크를 개발한다.
• 개인화된 적응을 통해 더 큰 일반화 모델의 성능을 유지하거나 초월하는 모델 압축을 달성한다.
• 클라우드 기반의 미세조정 후에 단지 작은 학생 모델만 전송함으로써 효율적이고 장치 내에서의 배포를 가능하게 한다.

제안 방법

• 지식 정복 프레임워크를 사용하여, 실제 청소된 음성 자료가 필요 없이 대규모 사전 훈련된 교사 모델의 출력을 가짜 타겟으로 사용하여 학생 모델을 훈련한다.
• 대규모이고 다양한 데이터셋으로 훈련된 교사 모델은 다양한 테스트 조건에서 잘 일반화되며 고품질의 노이즈 제거 추정치를 제공한다.
• 학습된 후 테스트 시점에서 교사 모델의 예측 결과를 지도로 사용하여 학생 모델을 미세조정함으로써, 레이블이 없는 청소된 데이터 없이도 특정 사용자와 노이즈 환경에 적응할 수 있다.
• 교사와 학생 간의 이질적인 아키텍처를 지원하여 모델 설계와 압축에 유연성을 제공한다.
• 계산 비용이 큰 정복 과정은 클라우드로 이관하고, 장치 내 추론에는 오직 작고 효율적인 학생 모델만 사용함으로써 장치 내 배포를 가능하게 한다.
• 개인화는 테스트 시점 적응을 통해 이루어지며, 다시 학습하지 않고도 특정 테스트 시점 맥락에 맞게 학생 모델을 최적화한다.

Figure 1: An overview of the proposed KD-based PSE process. The estimated clean speech by the student model is compared against the result from a larger teacher model, whose discrepancy is used to fine-tune the student model. This can be done during the test time as it does not require the clean spe

실험 결과

연구 질문

• RQ1 청소된 음성 데이터에 접근할 수 없음에도 불구하고, 작고 효율적인 학생 모델이 테스트 시점에서 특정 사용자와 노이즈 환경에 효과적으로 개인화될 수 있는가?
• RQ2 큰 일반화 교사 모델에서의 지식 정복이 유사하거나 더 큰 크기의 일반화 모델보다 뛰어난 성능을 달성할 수 있는가?
• RQ3 제안된 제로샷 방법이 학생 모델이 교사 모델보다 작더라도 성능 손실 없이 모델 압축을 달성할 수 있는가?
• RQ4 다양한 아키텍처와 능력을 지닌 다양한 교사 모델을 사용할 경우, 학생 모델의 성능는 어떻게 변화하는가?
• RQ5 이 프레임워크는 훈련 데이터에서 다루지 않은 사용자 그룹의 성능 향상에 확장 가능한가?

주요 결과

• 모든 테스트 조건에서 개인화된 학생 모델이 더 큰 일반화 모델보다 뛰어난 성능을 보였으며, 2×32 CTN 학생 모델이 -5 dB 혼합 SNR에서 2×1024 일반화 모델보다 더 좋은 성능을 달성했다.
• CTN 교사로 훈련된 개인화된 학생 모델이 GRU 교사로 훈련된 모델보다 성능이 뛰어나, 교사의 품질이 학생 모델의 성능에 직접적인 영향을 미친다는 것을 입증했다.
• 2×32 개인화된 모델은 2×1024 일반화 모델 대비 1147만 개의 파라미터와 7억 1900만 개의 MAC를 절감하여 효과적인 모델 압축을 확인했다.
• 어떤 경우에서는 개인화된 학생 모델이 교사 모델를 초월하기도 하며, 특히 교사 모델이 약간 더 크기만 하더라도 테스트 시점 맥락에 특화된 적응 덕분이다.
• 사용자가 제공한 청소된 음성 자료가 필요 없기 때문에 개인정보 보호가 가능한 개인화를 실현했으며, 실세계 적용에서의 핵심 고려 사항을 해결했다.
• 프레임워크는 다양한 모델 아키텍처와 손실 함수에 적용 가능하여, 현재 설정을 초월한 광범위한 적용 가능성을 시사한다.

(a) -5 dB Mixture SNR