[논문 리뷰] Monaural source enhancement maximizing source-to-distortion ratio via automatic differentiation

Hiroaki NAKAJIMA, Yu Takahashi외 2명|arXiv (Cornell University)|2018. 06. 15.

Speech and Audio Processing참고 문헌 15인용 수 7

한 줄 요약

이 논문은 자동 미분를 통해 소스 대 간섭비(SDR)를 최대화하도록 훈련된 딥 뉴럴 네트워크(DNN)를 사용하여 단일 귀 소스 강화 방법을 제안한다. 기존의 재구성 오차(예: L1/L2 손실) 또는 청취자 유사도(예: STOI)를 최소화하는 방법과 달리, 이 방법은 직접적으로 SDR를 최대화함으로써 소음 제거 성능을 향상시키며, 이는 신호 대 잡음비(SNR)와 상관관계가 있다. 다양한 SNR 조건에서의 실험 결과, 제안된 방법은 L1, L2, STOI 기반 기준선보다 유의미하게 높은 SDR와 SIR를 달성한다.

ABSTRACT

Recently, deep neural network (DNN) has made a breakthrough in monaural source enhancement. Through a training step by using a large amount of data, DNN estimates a mapping between mixed signals and clean signals. At this time, we use an objective function that numerically expresses the quality of a mapping by DNN. In the conventional methods, L1 norm, L2 norm, and Itakura-Saito divergence are often used as objective functions. Recently, an objective function based on short-time objective intelligibility (STOI) has also been proposed. However, these functions only indicate similarity between the clean signal and the estimated signal by DNN. In other words, they do not show the quality of noise reduction or source enhancement. Motivated by the fact, this paper adopts signal-to-distortion ratio (SDR) as the objective function. Since SDR virtually shows signal-to-noise ratio (SNR), maximizing SDR solves the above problem. The experimental results revealed that the proposed method achieved better performance than the conventional methods.

연구 동기 및 목표

• 기존의 DNN 목적 함수가 단일 귀 소스 강화에서 신호 유사도를 우선시하면서 소음 제거 성능을 저하시키는 한계를 해결하기 위해.
• 소스 대 간섭비(SDR)를 직접 최적화하여 소음 감소 성능을 향상시키기 위해, 이는 신호 대 잡음비(SNR)와 왜곡을 반영하는 지표이다.
• 자기 미분를 통한 SDR 기반 훈련이 L1, L2, 또는 STOI와 같은 표준 손실 함수보다 더 나은 분리 품질을 이끌어내는지 입증하기 위해.
• 특히 저SNR 조건에서 SDR가 DNN를 위한 훈련 목표로 효과적인지 검증하기 위해.

제안 방법

• SDR 계산을 통해 역전파를 수행할 수 있도록 자동 미분를 사용하여 DNN의 엔드 투 엔드 훈련을 가능하게 한다.
• SDR는 추정된 신호를 청소된 신호와 정렬된 목표 성분과 잔차 성분(잡음 및 아티팩트 포함)으로 분해한 후, 이들의 전력 비율을 취하여 계산된다.
• SDR 목적 함수는 $\text{SDR} = 10 \log_{10} \left( \frac{\| \mathbf{s}_{\text{target}} \|^2}{\| \mathbf{e}_{\text{distortion}} \|^2} \right) $로 정의되며, 여기서 $\mathbf{e}_{\text{distortion}}$는 청소된 신호 부분공간에 수직 투영된 잔차이다.
• 학습은 조기 정지 기법을 사용한 확률적 경사 하강법를 사용하며, 최적화 과정에서 SDR를 최대화하기 위해 음수 SDR를 최소화한다.
• 모델 아키텍처로 순환 신경망(RNN)을 사용하였으며, 입력 및 출력 시계열 길이가 100이며, 겹치는 100샘플 윈도우에서 훈련된다.
• 다양한 SNR 조건(10 dB, 0 dB, -10 dB)에서 L1, L2, STOI 기반 목적 함수와의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 SDR를 훈련 목표로 삼는 것이 L1, L2, 또는 STOI 기반 손실 함수보다 단일 귀 소스 강화에서 더 나은 소음 제거 성능을 이끌어낼 수 있는가?
• RQ2 SDR 기반 훈련은 SDR와 함께 소스 대 간섭비(SIR)를 향상시켜 소음과 간섭을 줄이는가?
• RQ3 소음 오염이 심한 저SNR 조건에서 제안된 방법의 성능은 어떠한가?
• RQ4 비틀림 없는 신호 분해를 포함한 SDR를 최적화하기 위해 자동 미분가 효과적으로 사용될 수 있는가?

주요 결과

• 10 dB 입력 SNR에서 제안된 방법은 24.8 dB의 SDR를 달성하였으며, L1(18.1 dB) 및 L2(18.3 dB) 기준선보다 유의미하게 높았다.
• 0 dB 입력 SNR에서 제안된 방법은 17.7 dB의 SDR를 기록하였고, L1(13.5 dB) 및 L2(14.5 dB)보다 뛰어난 성능을 보였다. 이는 일관된 우수성을 보여준다.
• -10 dB 입력 SNR에서 제안된 방법은 10.9 dB의 SDR를 달성하였으며, L1(8.5 dB) 및 L2(9.2 dB)를 앞서는 것으로 나타나 고소음 조건에서도 뛰어난 내구성을 보였다.
• 또한 기준선보다 높은 SIR 값(10 dB SNR에서 25.0 dB)을 기록하여 간섭과 왜곡 감소를 확인하였다.
• 추정된 신호의 시각적 점검 결과, 제안된 방법은 L2 기반 추정보다 더 효과적으로 날카로운 소음 아티팩트를 감소시켰다.
• SDR 목적 함수는 진폭 스케일링을 허용하므로 추정된 신호의 진폭이 청소된 신호보다 낮을 수 있지만, 이는 SDR 점수에 영향을 주지 않는다.