[논문 리뷰] Interactive Feature Fusion for End-to-End Noise-Robust Speech Recognition

Yu‐Chen Hu, Nana Hou외 2명|arXiv (Cornell University)|2021. 10. 11.

Speech and Audio Processing인용 수 5

한 줄 요약

이 논문은 잡음 환경에서 엔드 투 엔드 음성 인식(ASR) 성능을 향상시키기 위해 향상된 음성 특징과 노이즈가 섞인 음성 특징을 동시에 융합하는 상호작용형 특징 융합 네트워크(IFF-Net)를 제안한다. 양방향 상호작용을 통해 향상된 특징과 노이즈가 섞인 특징 간의 특징 교환을 가능하게 하고, 학습 가능한 가중치 마스크를 사용함으로써 IFF-Net은 RATS Channel-A 코퍼스에서 최고의 베이스라인 대비 단어 오류율(WER)을 4.1% 감소시켜 음성 강화 과정에서의 과도한 억압 문제를 효과적으로 완화한다.

ABSTRACT

Speech enhancement (SE) aims to suppress the additive noise from a noisy speech signal to improve the speech's perceptual quality and intelligibility. However, the over-suppression phenomenon in the enhanced speech might degrade the performance of downstream automatic speech recognition (ASR) task due to the missing latent information. To alleviate such problem, we propose an interactive feature fusion network (IFF-Net) for noise-robust speech recognition to learn complementary information from the enhanced feature and original noisy feature. Experimental results show that the proposed method achieves absolute word error rate (WER) reduction of 4.1% over the best baseline on RATS Channel-A corpus. Our further analysis indicates that the proposed IFF-Net can complement some missing information in the over-suppressed enhanced feature.

연구 동기 및 목표

• 음성 강화 과정에서 손실된 잠재적 정보를 유지함으로써, 음성 강화에서의 과도한 억압 문제로 인한 후속 ASR 성능 저하를 해결한다.
• 다중 작업 학습 프레임워크를 사용해 음성 강화 및 ASR 모듈을 함께 훈련시킴으로써 노이즈에 강건한 ASR 성능을 향상시킨다.
• 향상된 특징과 원본 노이즈가 섞인 특징에서 상호보완적인 정보를 학습하는 특징 융합 메커니즘을 개발하여 더 견고한 ASR 입력을 재구성한다.
• 상호작용형 특징 융합이 캐스케이드, 공동, 게이팅 융합 방식보다 노이즈가 많은 음성 인식에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• IFF-Net은 향상된 특징과 노이즈가 섞인 특징을 처리하는 두 개의 병렬 브랜치로 구성되며, 상호작용 모듈을 통해 상호 연결되어 이중 방향 특징 교환을 가능하게 한다.
• 각 브랜치는 공간적 및 채널별 해상도를 유지하기 위해 업샘플링 및 다운샘플링 컨볼루션 블록을 사용하고, 분리 가능한 자기어텐션(SSI)을 포함한 잔차 어텐션(RA) 블록을 통해 전역적 맥락 모델링을 수행한다.
• 상호작용 모듈은 각 브랜치가 다른 브랜치의 특징을 주시하고 조절할 수 있도록 하여 상호보완적 정보 학습을 향상시킨다.
• 학습 가능한 머지 모듈은 동적 가중치 마스크를 생성하여 상호작용된 특징을 적응적으로 융합하며, 향상된 음성에서의 청소된 구성요소와 노이즈가 섞인 음성에서의 견고한 구성요소를 우선시한다.
• 전체 시스템은 ASR 손실과 음성 강화 복원 손실을 조합한 다중 작업 목적 함수를 사용해 엔드 투 엔드로 훈련된다.
• 아키텍처는 향상된 특징에서 과도하게 억압된 영역에서도 음성 콘텐츠를 유지하면서, 어텐션 유도 융합을 통해 노이즈를 억압하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 기본적인 공동 훈련 대비, 향상된 특징과 노이즈가 섞인 특징의 상호작용 융합이 엔드 투 엔드 ASR에서 단어 오류율(WER)을 감소시키는가?
• RQ2 원본 노이즈가 섞인 특징에서 정보를 유지함으로써, 음성 강화에서의 과도한 억압으로 인한 성능 저하를 어느 정도 완화할 수 있는가?
• RQ3 IFF-Net의 개별 구성 요소—예를 들어 상호작용 모듈, SSA 블록, 머지 모듈—는 최종 ASR 성능에 어떤 기여를 하는가?
• RQ4 단방향 또는 무상호작용 대비, 이중 방향 상호작용(노이즈 → 향상, 향상 → 노이즈)이 유의미한 이점을 제공하는가?
• RQ5 제안된 방법은 기존의 캐스케이드, 공동, 게이팅 융합 방식을 포함한 다양한 베이스라인보다 노이즈에 강건한 ASR에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• IFF-Net은 RATS Channel-A 코퍼스에서 최고의 베이스라인(GRF Network) 대비 4.1%p의 절대적 WER 감소를 달성하여 뛰어난 노이즈에 강건한 성능을 입증했다.
• 노이즈 브랜치를 단독으로 제거할 경우 성능이 3.3%p WER로 악화되어 원본 노이즈 특징이 억압된 음성 콘텐츠 복구에 핵심적인 역할을 함을 확인했다.
• 상호작용 모듈은 WER을 1.8%p 향상시켰으며, 향상된 특징에서 노이즈 특징으로의 (e2n) 및 노이즈 특징에서 향상된 특징으로의 (n2e) 상호작용 경로가 최적 성능을 위해 모두 필수적임을 입증했다.
• 분리 가능한 자기어텐션(SSI) 블록은 성능 향상에 크게 기여하며, 제거 시 WER이 3.1%p 증가하여 장거리 의존성 모델링에서의 중요성을 확인했다.
• spectrogram 시각화 결과, IFF-Net은 향상된 신호에서 과도하게 억압된 영역에서도 더 낮은 노이즈와 풍부한 음성 콘텐츠를 가진 융합 특징을 생성하는 것으로 확인되었다.
• 머지 모듈의 학습된 가중치 마스크는 음성 구성요소를 효과적으로 강조하고 왜곡을 억압하여 상호보완적 특징의 최적 융합을 가능하게 했다.