[논문 리뷰] One Shot Learning for Speech Separation

Yuan-Kuei Wu, Kuan-Po Huang외 2명|arXiv (Cornell University)|2020. 11. 20.

Speech Recognition and Synthesis참고 문헌 26인용 수 4

한 줄 요약

이 논문은 MAML과 ANIL을 사용하여 단일 혼합 신호 샘플로도 새로운 화자와 소음 환경에 빠르게 적응할 수 있도록 하는 메타학습 접근법을 제안한다. 분리기 모듈을 작업별 특화 모듈로 간주하고 인코더/디코더를 특징 재사용 구성요소로 간주함으로써, 특히 제로샷 및 소음 조건에서 다중 작업 학습 기반 모델에 비해 뛰어난 일반화 성능을 달성한다.

ABSTRACT

Despite the recent success of speech separation models, they fail to separate sources properly while facing different sets of people or noisy environments. To tackle this problem, we proposed to apply meta-learning to the speech separation task. We aimed to find a meta-initialization model, which can quickly adapt to new speakers by seeing only one mixture generated by those people. In this paper, we use model-agnostic meta-learning(MAML) algorithm and almost no inner loop(ANIL) algorithm in Conv-TasNet to achieve this goal. The experiment results show that our model can adapt not only to a new set of speakers but also noisy environments. Furthermore, we found out that the encoder and decoder serve as the feature-reuse layers, while the separator is the task-specific module.

연구 동기 및 목표

• 새로운 화자나 소음 환경에 직면했을 때 음성 분리 모델의 일반화 실패 문제를 해결하기 위해.
• 새로운 화자 조합과 음향 조건에 대해 단일 혼합 신호 샘플만으로도 빠른 적응을 가능하게 하기 위해.
• 메타학습이 다중 작업 학습을 초월하여 음성 분리에서 제로샷 일반화를 향상시킬 수 있는지 조사하기 위해.
• 메타학습 기반 적응에서 네트워크 구성요소(인코더, 분리기, 디코더)의 역할을 분석하기 위해.

제안 방법

• One-shot 음성 분리에 적합한 Conv-TasNet을 위해 모델에 종속되지 않는 메타학습(MAML)과 거의 내부 루프가 없는 학습(ANIL)을 적용하였다.
• 손실 함수로 음성 신호 대 잡음비율(SI-SNR)을 사용하였으며, 문장 수준의 순열 불변 트레이닝(uPIT)을 적용하였다.
• 인코더와 디코더를 특징 재사용 모듈로 간주하고, 분리기를 작업별 특화 모듈로 간주하였다.
• WSJ0-2mix-meta 데이터셋의 다양한 화자 혼합에서 메타학습 모델을 훈련한 후, Libri2mix와 VCTK와 같은 새로운 데이터셋에서 평가하였다.
• 새로운 화자 조합이나 소음 환경의 단일 혼합 신호에서 메타초기화된 모델을 미세조정하여 빠른 적응을 수행하였다.
• 다양한 모델 구성요소에서의 미세조정 전략과 다중 작업 학습 기반 모델을 비교하였다.

실험 결과

연구 질문

• RQ1 메타학습을 통해 단일 예시만으로도 새로운 화자 조합에 일반화할 수 있는가?
• RQ2 메타학습은 새로운 소음 환경에 적응하는 데 다중 작업 학습보다 더 나은 성능을 보이는가?
• RQ3 Conv-TasNet 아키텍처의 구성요소 중 인코더, 분리기, 디코더 중에서 빠른 적응에 가장 중요한 역할을 하는 것은 무엇인가?
• RQ4 메타학습 기반 음성 분리에서 분리기만 또는 전체 모델을 미세조정할 경우, 어느 것이 더 높은 성능을 낼 수 있는가?

주요 결과

• MAML 기반 모델은 모든 테스트 세트에서 다중 작업 학습 기반 모델을 초월하여 높은 SI-SNRi 점수를 기록하였으며, 소음 유무에 관계없이 Libri2mix 및 VCTK 데이터셋에서 최고 성능을 보였다.
• ANIL 방법은 분리기만 미세조정할 경우 표준 메타학습보다 높은 성능을 기록하여, 분리기가 주로 작업별 특화 모듈임을 시사한다.
• 분리기만 미세조정하는 것(a_s)이 전체 모델나 오토에코더를 미세조정하는 것보다 더 좋은 결과를 얻었으며, 이는 분리기가 작업별 특화 역할을 수행한다는 것을 확인한다.
• 전체 사전훈련 에포크 수의 절반만으로도 훈련된 모델이 전체 다중 작업 미세조정 성능을 초월하여, 효과적인 메타학습을 위해 전체 사전훈련이 반드시 필요한 것은 아님을 시사한다.
• 인코더와 디코더는 특징 재사용 레이어로 기능하며, 분리기는 핵심 작업별 특화 구성요소로 확인되었다.
• 메타학습된 모델는 강력한 제로샷 일반화 성능을 보였으며, 새로운 화자와 소음 환경에 대해 뛰어난 내재성과 안정성을 확보하였다.