[논문 리뷰] EchoFilter: End-to-End Neural Network for Acoustic Echo Cancellation

Lu Ma, Song Yang외 3명|arXiv (Cornell University)|2021. 05. 31.

Speech and Audio Processing참고 문헌 30인용 수 9

한 줄 요약

EchoFilter는 1차원 시간 컨볼루션, 양방향 LSTMs, 그리고 국소적 어텐션을 사용하여 원시 음성 웨이브폼을 처리하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이는 시간적 정렬을 위해 사용되며, 이중 대화 감지 헤드를 포함한 다중 작업 학습을 통합하여 비선형 왜곡과 배경 잡음 조건에서 최신 기술 성능을 달성한다. ERLE(최대 59.32 dB)와 PESQ(1.30)에서 뛰어난 성능을 기록한다.

ABSTRACT

Acoustic Echo Cancellation (AEC) whose aim is to suppress the echo originated from acoustic coupling between loudspeakers and microphones, plays a key role in voice interaction. Linear adaptive filter (AF) is always used for handling this problem. However, since there would be some severe effects in real scenarios, such nonlinear distortions, background noises, and microphone clipping, it would lead to considerable residual echo, giving poor performance in practice. In this paper, we propose an end-to-end network structure for echo cancellation, which is directly done on time-domain audio waveform. It is transformed to deep representation by temporal convolution, and modelled by Long Short-Term Memory (LSTM) for considering temporal property. Since time delay and severe reverberation may exist at the near-end with respect to the far-end, a local attention is employed for alignment. The network is trained using multitask learning by employing an auxiliary classification network for double-talk detection. Experiments show the superiority of our proposed method in terms of the echo return loss enhancement (ERLE) for single-talk periods and the perceptual evaluation of speech quality (PESQ) score for double-talk periods in background noise and nonlinear distortion scenarios.

연구 동기 및 목표

• 실세계 AEC 시나리오에서 비선형 왜곡, 배경 잡음, 마이크로폰 클립핑을 다루는 데에 한계가 있는 전통적 선형 적응 필터의 문제점을 해결한다.
• 기존의 에코 추정 방식을 딥 네트워크로 대체하여 오디오 장치의 비선형 성분으로 인한 잔류 에코를 극복한다.
• 이중 대화 기간 동안 성능을 향상시키기 위해 전용 이중 대화 감지 모듈을 보조 작업으로 통합한다.
• 중간 표현 방식(예: STFT)을 피하기 위해 원시 음성 웨이브폼에서 직접 엔드 투 엔드 학습을 가능하게 하여 시간적 및 주파수적 정밀도를 유지한다.

제안 방법

• 기존의 STFT 기반 특징 추출 방식을 대체하기 위해 원시 음성 웨이브폼을 깊고 고해상도 표현으로 인코딩하기 위해 1D 시간 컨볼루션 레이어를 사용한다.
• 에코 신호 및 믹스 신호의 장기적 시간 의존성을 모델링하기 위해 양방향 장기 단기 기억(LSTM) 네트워크를 활용한다.
• 변동하는 시간 지연과 리버버브레이션을 보완하기 위해 원근 신호와 믹스 신호 간의 정렬을 위해 국소적 어텐션 메커니즘을 도입한다.
• 분류 헤드를 별도로 두어 이중 대화 상태(예: 근거리 전용, 원거리 전용, 이중 대화)를 예측하는 다중 작업 학습 프레임워크를 구현한다.
• 표준 Sigmoid보다 더 나은 에코 제거 성능을 위해 마스크 네트워크에서 ReSigmoid 활성화 함수를 적용한다.
• 마스크 표현에서 직접 음성 재구성을 가능하게 하기 위해 1D 역전치 컨볼루션을 사용하여 엔드 투 엔드로 가능한 미분 가능한 오디오 합성을 실현한다.

실험 결과

연구 질문

• RQ1 비선형 왜곡과 배경 잡음 조건에서 전통적인 적응 필터보다 엔드 투 엔드 딥 러닝 모델이 AEC 성능을 뛰어나게 할 수 있는가?
• RQ2 보조 작업으로 이중 대화 감지 기능을 통합함으로써 이중 대화 간격 동안의 에코 제거 성능이 어떻게 향상되는가?
• RQ3 변동하는 시간 지연과 리버버브레이션 조건에서 국소적 어텐션 기능이 원근 신호와 믹스 신호 간 정렬에 얼마나 기여하는가?
• RQ4 스펙트럼 특징에 의존하는 방법과 비교해 원시 웨이브폼에서 직접 학습함으로써 더 나은 에코 제거 및 음성 품질 향상을 달성할 수 있는가?
• RQ5 학습 조건과 다른 실제 인파르스 응답(RIR)에서 테스트했을 때 제안된 방법의 내성은 어느 정도인가?

주요 결과

• EchoFilter는 합성 비선형 에코 환경에서 59.32 dB의 에코 리턴 로스 업그레이드(ERLE)를 기록하여 기준 모델들(예: AES+RES: 10.13 dB, Multitask: 46.12 dB)을 크게 앞서며 뛰어난 성능을 보였다.
• 이중 대화 상황에서 제안된 방법은 PESQ 점수 1.30을 기록했으며, 다중 작업 기준 모델(0.70)과 AES+RES(0.21)에 비해 더 나은 음성 품질 유지 성능을 입증했다.
• 아헨 데이터베이스에서 측정한 실제 RIR에서 EchoFilter는 신호-에코 비율(SER) 0 dB 조건에서 70.93 dB ERLE를 달성했으며, CAD-AEC(56.51 dB)와 AES+RES(12.16 dB)를 모두 초월했다.
• 합성 RIR로 학습하고 실제 '코리도어' RIR에서 테스트한 결과, 선형 모델에서는 68.71 dB ERLE, 비선형 모델에서는 66.39 dB ERLE를 기록했으며, 모든 SER 수준에서 CAD-AEC를 초월했다.
• SER이 높을수록 CAD-AEC 대비 PESQ 향상도 증가하여 비선형 모델에서 7 dB SER 조건에서 0.52에 이르렀으며, 열악한 조건에서도 뛰어난 내성 확보를 입증했다.
• Ablation 연구를 통해 ReSigmoid 활성화 함수가 표준 Sigmoid보다 더 나은 에코 제거 성능 기여를 했음을 확인했다.