[논문 리뷰] Speech Enhancement using Self-Adaptation and Multi-Head Self-Attention

Yuma Koizumi, Kohei Yatabe외 3명|arXiv (Cornell University)|2020. 02. 14.

Speech and Audio Processing참고 문헌 30인용 수 8

한 줄 요약

이 논문은 음성 강화와 화자 식별을 병행 학습하는 다중 작업 학습을 통해 테스트 문장에서 직접 추출한 화자 인식 특징을 활용하는 자기적응형 음성 강화 방법을 제안한다. 장기적 의존성을 모델링하기 위해 다중 헤드 자기주의(MHSA)를 사용하고, 화자 식별 브랜치의 최종 은닉층을 보조 특징으로 활용함으로써, 공개 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 객관적 및 주관적 품질 측면에서 기존 방법들을 능가한다. 이는 미리 보지 않은 화자에게도 적용 가능하다.

ABSTRACT

This paper investigates a self-adaptation method for speech enhancement using auxiliary speaker-aware features; we extract a speaker representation used for adaptation directly from the test utterance. Conventional studies of deep neural network (DNN)--based speech enhancement mainly focus on building a speaker independent model. Meanwhile, in speech applications including speech recognition and synthesis, it is known that model adaptation to the target speaker improves the accuracy. Our research question is whether a DNN for speech enhancement can be adopted to unknown speakers without any auxiliary guidance signal in test-phase. To achieve this, we adopt multi-task learning of speech enhancement and speaker identification, and use the output of the final hidden layer of speaker identification branch as an auxiliary feature. In addition, we use multi-head self-attention for capturing long-term dependencies in the speech and noise. Experimental results on a public dataset show that our strategy achieves the state-of-the-art performance and also outperform conventional methods in terms of subjective quality.

연구 동기 및 목표

• DNN 기반 음성 강화 모델이 추론 단계에서 보조 지시 신호 없이도 알려지지 않은 화자에게 적응할 수 있는지 조사하는 것.
• 테스트 문장에서 직접 화자 인식 특징을 추출하여 일반화 능력과 성능을 향상시키는 것.
• 시간적 표현에서 장기적 시간적 의존성을 다중 헤드 자기주의(MHSA)를 통해 향상시키는 것.
• 음성 강화와 화자 식별의 병행 학습을 통한 다중 작업 학습을 통해 음성 강화 분야에서 최신 기술 수준의 성능를 달성하는 것.

제안 방법

• 공유 인코더를 사용하여 음성 강화와 화자 식별을 위한 DNN를 병행 학습하는 다중 작업 학습 프레임워크를 구현한다.
• 화자 식별 브랜치의 최종 은닉층 출력을 음성 강화에 대한 보조 특징으로 사용한다.
• 시간적 표현의 장거리 시간적 의존성을 모델링하기 위해 양방향 LSTM과 다중 헤드 자기주의(MHSA)를 통합한다.
• STFT 변환된 노이즈가 있는 입력과 화자 인식 특징을 입력으로 사용하는 DNN를 통해 T-F 마스크를 추정한다.
• 강건한 특징 추출 및 시간 모델링을 위해 CNN, BLSTM, MHSA를 조합한 하이브리드 아키텍처를 사용한다.
• 최종으로 강화된 신호는 마스크 처리된 STFT 스펙트로그램에 대해 역 STFT를 적용하여 복원한다.

실험 결과

연구 질문

• RQ1 DNN 기반 음성 강화 모델이 추론 시 보조 지시 신호 없이도 알려지지 않은 화자에게 효과적으로 적응할 수 있는가?
• RQ2 테스트 문장에서 직접 추출한 화자 인식 특징이 음성 강화 성능 향상에 기여하는가?
• RQ3 다중 헤드 자기주의(MHSA)의 통합이 노이즈가 있는 음성에서 장기적 의존성을 향상시키는가?
• RQ4 음성 강화와 화자 식별의 병행 다중 작업 학습이 더 나은 일반화 및 성능을 이끌 수 있는가?

주요 결과

• 제안된 방법은 공개 음성 강화 데이터셋에서 최신 기술 수준(SOTA) 성능를 달성하였으며, 기존 방법들보다 객관적 지표에서 뛰어난 성능을 보였다.
• ITU-T P.835를 사용한 주관적 평가에서, 제안된 방법은 S-MOS, N-MOS, G-MOS 등 모든 요소에서 가장 높은 평균 관점 점수(MOS)를 기록하였다.
• 쌍체의 일측 t-검정을 통해 SEGAN 및 DFL과 같은 기준 모델 대비 모든 주관적 품질 지표에서 통계적으로 유의미한 향상(P < 0.01)을 확인하였다.
• 화자 식별 브랜치는 화자 인식 표현을 성공적으로 추출하였으며, 시간 프레임의 64%와 84%가 서로 다른 화자와 연관되어 있어 동적 화자 선택이 가능함을 시사하였다.
• 화자 식별 브랜치의 최종 은닉층을 보조 특징으로 사용함으로써, 화자 지시 없이 학습된 모델 대비 PESQ 및 COVL 점수에서 뚜렷한 향상이 있었다.
• 모델는 훈련 데이터에 존재하지 않는 새로운 화자에게도 효과적으로 일반화되어, 훈련 데이터에 없는 타겟 화자에 대해서도 강건함을 입증하였다.