[논문 리뷰] A Recursive Network with Dynamic Attention for Monaural Speech Enhancement

Andong Li, Chengshi Zheng외 3명|arXiv (Cornell University)|2020. 03. 29.

Speech and Audio Processing참고 문헌 28인용 수 6

한 줄 요약

이 논문은 단일 귀 음성 향상에 대해 동적 주의를 갖는 재귀 네트워크(DARCN)를 제안하며, 노이즈 제거 네트워크와 별도의 주의 생성기 모듈이 특징 흐름을 적응적으로 제어하는 방식을 결합한다. 단일 네트워크를 다중 스테이지에 걸쳐 재사용함으로써 재귀 학습과 동적 주의 조절을 통해 DARCN는 상태 기준 성능(PESQ 및 STOI 점수)을 달성하면서도 파rameter 수를 단 123만 개로 줄였다. 이는 뛰어난 성능과 파rameter 효율성을 동시에 입증한다.

ABSTRACT

A person tends to generate dynamic attention towards speech under complicated environments. Based on this phenomenon, we propose a framework combining dynamic attention and recursive learning together for monaural speech enhancement. Apart from a major noise reduction network, we design a separated sub-network, which adaptively generates the attention distribution to control the information flow throughout the major network. To effectively decrease the number of trainable parameters, recursive learning is introduced, which means that the network is reused for multiple stages, where the intermediate output in each stage is correlated with a memory mechanism. As a result, a more flexible and better estimation can be obtained. We conduct experiments on TIMIT corpus. Experimental results show that the proposed architecture obtains consistently better performance than recent state-of-the-art models in terms of both PESQ and STOI scores.

연구 동기 및 목표

• 동적 주의를 재귀 학습과 융합하여 노이즈 억제 성능을 향상시키기 위해 단일 귀 음성 향상 성능을 향상시키는 것.
• 성능을 저하시키지 않은 채 깊은 음성 향상 모델의 학습 가능한 파arameter 수를 줄이는 것.
• 적응형 주의 메커니즘을 통해 예측 불가능한 노이즈 조건에서도 모델의 일반화 능력을 향상시키는 것.
• 깊은 신경망을 통한 음성 향상에서 기울기 소실 및 모델 깊이 제한 문제를 해결하는 것.
• 다중 스테이지에 걸쳐 점진적으로 추정치를 개선하는 파arameter 효율적인 아키텍처를 개발하는 것.

제안 방법

• 별도의 주의 생성기 모듈(AGM)이 각 스테이지에서 동적으로 주의 가중치를 생성하며, 이는 메인 노이즈 제거 네트워크(NRM)의 특징 흐름을 조절한다.
• 스테이지-재귀 신경망(SRNN) 아키텍처를 사용하여 동일한 네트워크를 다중 스테이지에 걸쳐 재사용하고, 중간 출력을 수정하기 위한 메모리 메커니즘을 구현한다.
• 주의 가중치는 점별 합성곱과 시그모이드 활성화를 통해 적용되어 NRM 내에서 특징의 가중치를 적응적으로 조절한다.
• 모델은 평균 제곱오차(MSE) 손실과 Adam 최적화를 사용하는 다중 스테이지 학습 프레임워크를 사용하며, 조기 정지와 학습률 감소 전략을 적용한다.
• U-Net 유사 인코더-디코더 아키텍처에 잔차 연결과 게이팅 컨벌루션을 통합하여 강력한 스펙트럼 추정 능력을 확보한다.
• 프레임워크는 TIMIT 코퍼스를 기반으로 훈련 및 평가되며, 청각 품질과 말의 명료성을 평가하기 위해 PESQ 및 STOI 지표를 사용한다.

실험 결과

연구 질문

• RQ1 동적 주의가 시간-주파수 빈도에서 특징 중요도를 적응적으로 조절함으로써 음성 향상 성능을 향상시킬 수 있는가?
• RQ2 파arameter 재사용을 통한 재귀 학습이 파arameter 수를 줄이면서도 모델의 깊이와 성능을 향상시킬 수 있는가?
• RQ3 예상된 노이즈 조건과 예측 불가능한 노이즈 조건 모두에서 제안된 프레임워크가 최신 기술 모델과 비교해 PESQ 및 STOI 성능에서 어떻게 뛰어난가?
• RQ4 재귀 아키텍처에서 성능과 과적합 사이의 균형을 고려할 때 최적의 스테이지 수(Q)는 얼마인가?
• RQ5 낮은 파arameter 수를 유지하면서도 예측 불가능한 노이즈 유형에 대해 우수한 일반화 성능를 보일 수 있는가?

주요 결과

• 제안된 DARCN 모델은 예측 가능한 노이즈 조건에서 CRN 기준선 대비 평균 PESQ 점수 0.16점 향상 및 STOI 점수 1.01% 향상 달성.
• 예측 불가능한 노이즈 조건에서도 일관된 성능 향상을 유지하며 강력한 일반화 능력을 입증.
• 학습 가능한 파arameter 수를 123만 개로 줄여, CRN(1758만), GRN(313만), DCN(292만), SLSTM(3681만) 대비 현저히 낮춘다.
• 스테이지 수(Q) 증가에 따라 성능은 3단계까지 향상되나, 이후 MSE 손실과 청각 지표 간의 충돌적인 최적화 목표로 인해 PESQ 점수는 약간 하락함.
• 동적 주의 메커니즘이 관련 스펙트럼 성분에 집중함으로써 노이즈 억제 성능을 향상시키며, 이는 향상된 STOI 및 PESQ 점수로 입증됨.
• 재귀 학습 메커니즘이 추가 파arameter 없이도 네트워크 깊이를 효과적으로 증가시켜 표현 학습 능력을 향상시키며, 낮은 지연 시간을 유지한다.