[논문 리뷰] Tensor-Train Long Short-Term Memory for Monaural Speech Enhancement

Suman Samui, Indrajit Chakrabarti외 1명|arXiv (Cornell University)|2018. 12. 25.

Speech and Audio Processing참고 문헌 14인용 수 4

한 줄 요약

이 논문은 단일 귀 음성 강화를 위한 깊은 LSTM 네트워크를 압축하기 위해 텐서트레이스 장기 단기 기억망(TT-LSTM) 모델을 제안한다. 이 모델은 텐서트레이스 분해를 통해 가중치 행렬을 인과적으로 분해함으로써 모델 복잡도를 감소시킨다. 표준 RNN보다 수십만 배 이상 적은 파라미터를 가진다 해도 TT-LSTM 기반의 TensorNet는 일치하는 조건과 일치하지 않는 노이즈 조건에서 모두 경쟁적인 음성 품질과 이해도 성능을 달성한다.

ABSTRACT

In recent years, Long Short-Term Memory (LSTM) has become a popular choice for speech separation and speech enhancement task. The capability of LSTM network can be enhanced by widening and adding more layers. However, this would introduce millions of parameters in the network and also increase the requirement of computational resources. These limitations hinders the efficient implementation of RNN models in low-end devices such as mobile phones and embedded systems with limited memory. To overcome these issues, we proposed to use an efficient alternative approach of reducing parameters by representing the weight matrix parameters of LSTM based on Tensor-Train (TT) format. We called this Tensor-Train factorized LSTM as TT-LSTM model. Based on this TT-LSTM units, we proposed a deep TensorNet model for single-channel speech enhancement task. Experimental results in various test conditions and in terms of standard speech quality and intelligibility metrics, demonstrated that the proposed deep TT-LSTM based speech enhancement framework can achieve competitive performances with the state-of-the-art uncompressed RNN model, even though the proposed model architecture is orders of magnitude less complex.

연구 동기 및 목표

• 단일 귀 음성 강화에서 깊은 LSTM 모델의 높은 파라미터 수와 계산 비용 문제를 해결한다.
• 메모리와 계산 자원 제약으로 인해 저성능 장치(예: 스마트폰 및 임베디드 시스템)에 배포가 어려운 문제를 해결한다.
• 파라미터 효율적인 가중치 행렬 분해를 통해 모델 복잡도를 극적으로 감소시키면서도 높은 음성 품질과 이해도를 유지한다.
• 평가 시 훈련 중에 나타나지 않은 노이즈 유형에 대해 일반화 능력을 입증한다.
• 매우 압축된 상태에서도 성능을 유지하는 TT-LSTM 유닛을 사용한 깊은 신경망 아키텍처 프레임워크를 개발한다.

제안 방법

• LSTM 유닛의 밀도 높은 가중치 행렬에 텐서트레이스(TT) 분해를 적용하여 저질서 핵심 텐서의 시퀀스로 분해한다.
• TT 형식을 통해 각 LSTM 가중치 행렬을 행렬 곱의 사슬으로 표현함으로써 파라미터 수를 감소시키면서도 표현 능력을 유지한다.
• 엔드 투 엔드 단일 귀 음성 강화를 위한 깊은 세 층의 TensorNet 아키텍처를 TT-LSTM 유닛을 사용해 구성한다.
• 시간-주파수(T-F) 마스킹 방법을 채택하여, 네트워크가 노이즈가 섞인 입력에서 청소된 음성을 재구성하기 위한 마스크를 예측하도록 한다.
• 드롭아웃(0.5)과 배치 정규화를 사용하여 역전파를 시간에 따라 수행함으로써 일반화 능력을 향상시킨다.
• TT-랭크(예: 랭크 4)를 사용하여 압축 수준을 제어하고 모델 복잡도와 성능의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 텐서트레이스 분해가 성능 저하 없이 단일 귀 음성 강화를 위한 LSTM 모델을 효과적으로 압축할 수 있는가?
• RQ2 표준 압축되지 않은 LSTM 및 DNN 기준 모델과 비교해 TT-LSTM 모델의 음성 품질과 이해도 성능은 어떠한가?
• RQ3 훈련 중에 나타나지 않은 노이즈 유형에 대해 TT-LSTM 모델의 일반화 능력은 어느 정도인가?
• RQ4 표준 RNN과 비교해 TT-LSTM 모델의 파라미터 효율성은 어떠한가? 이는 저자원 장치에의 배포 가능성을 높이는가?
• RQ5 다양한 SNR 수준과 다양한 화자 집단에서 TT-LSTM 프레임워크는 안정성을 유지하는가?

주요 결과

• TT-LSTM 기반의 TensorNet는 파라미터 수가 표준 기술의 수십만 배 이상 적은데도 불구하고, 최신 기술의 압축되지 않은 RNN 모델과 유사한 PESQ 및 STOI 점수를 달성한다.
• 테스트 세트 A(일치하는 노이즈 조건)에서 TT-LSTM-Rank-4 모델은 평균 PESQ 2.45와 STOI 0.82를 기록하여 DNN 기준 모델을 초월하고 LSTM 기준 모델과 동등한 성능을 보였다.
• 테스트 세트 B(일치하지 않는 노이즈 조건)에서 TT-LSTM 모델은 평균 PESQ 2.38과 STOI 0.80를 기록하여 훈련 중에 나타나지 않은 노이즈 유형에 대해 강력한 일반화 능력을 입증했다.
• 표준 LSTM과 비교해 TT-LSTM 모델은 복잡도를 수십만 배 이상 감소시켜 메모리 제약이 있는 장치에 효율적으로 배포할 수 있도록 했다.
• 제안된 프레임워크는 훈련 및 검증 세트와 완전히 다른 화자로 구성된 테스트 세트를 사용하여 뚜렷한 화자 일반화 능력을 보였다.
• TT-랭크(예: 4)의 사용은 다양한 노이즈 조건에서 높은 성능를 유지하면서도 모델 복잡도를 효과적으로 제어할 수 있음을 보여주었다.