[논문 리뷰] Deep model with built-in cross-attention alignment for acoustic echo cancellation

Evgenii Indenbom, Nicolae-Cătălin Ristea외 3명|arXiv (Cornell University)|2022. 08. 24.

Speech and Audio Processing인용 수 7

한 줄 요약

이 논문은 외부 지연 추정이 필요 없는 네트워크 아키텍처에 교차 어텐션 기반 정렬을 직접 통합한 실시간 딥러닝 모델인 Align-CRUSE를 제안한다. 이 모델은 AEC 챌린지 데이터셋에서 최신 기술 수준의 성능을 달성하여, 어려운 지연 조건에서 ERLE을 최대 7 dB 향상시키고 AECMOS를 0.24 향상시켰으며, Microsoft Teams와 같은 실시간 배포에 적합한 낮은 지연과 계산 비용을 유지를 한다.

ABSTRACT

With recent research advances, deep learning models have become an attractive choice for acoustic echo cancellation (AEC) in real-time teleconferencing applications. Since acoustic echo is one of the major sources of poor audio quality, a wide variety of deep models have been proposed. However, an important but often omitted requirement for good echo cancellation quality is the synchronization of the microphone and far end signals. Typically implemented using classical algorithms based on cross-correlation, the alignment module is a separate functional block with known design limitations. In our work we propose a deep learning architecture with built-in self-attention based alignment, which is able to handle unaligned inputs, improving echo cancellation performance while simplifying the communication pipeline. Moreover, we show that our approach achieves significant improvements for difficult delay estimation cases on real recordings from AEC Challenge data set.

연구 동기 및 목표

• 실시간 AEC 시스템에서 마이크 신호와 원거리 신호 간의 신호 정렬 불일치 문제를 해결함으로써 에코 제거 성능 저하를 방지한다.
• 동적 환경에서 오류 발생 가능성이 높고 계산 비용이 큰 전통적 외부 정렬 모듈(예: 교차상관관계)에 의존하지 않도록 한다.
• 특징 공간에서 종단간 소프트 정렬을 통해 가변적이고 장시간 지연을 내재적으로 처리할 수 있는 저복잡도 실시간 딥러닝 아키텍처를 개발한다.
• 장시간 지연, 비선형 에코 경로, 더블톡 상황과 같은 도전적인 상황에서도 AEC 성능을 향상시키면서도 낮은 추론 지연을 유지한다.
• Microsoft Teams와 같은 대규모 생산 시스템에서의 실용적 배포를 가능하게 하며, 수백만 명의 사용자에게 필수적인 내구성과 낮은 지연을 확보한다.

제안 방법

• U-Net 기반 인코더-디코더 아키텍처에 블록 중앙에 순환 블록을 통합한 구조를 사용하며, CRUSE와 유사하지만 신호 간 정렬을 위한 내장형 교차 어텐션 모듈을 추가한다.
• 교차 어텐션 메커니즘은 마이크 신호와 원거리 신호의 시간-주파수 특징 간 소프트 정렬을 계산하여 다양한 시간 지연에 걸친 지연 분포를 학습한다.
• 신호 수준의 교차상관관계에 의존하지 않고, 딥 특징 공간에서 정렬을 수행함으로써 비선형적이고 시간에 따라 변하는 에코 경로를 처리할 수 있다.
• 마이크 신호 특징을 쿼리로 사용하여 원거리 신호 특징을 주시함으로써, 동적으로 신호를 정렬하는 가중치가 부여된 컨텍스트를 생성한다.
• 에코 억제 최적화를 위한 손실 함수를 사용하여 종단간으로 훈련되며, 주요 평가 지표로 AECMOS와 ERLE를 활용한다.
• 20ms 히트윈도우와 10ms 히프를 사용하여 알고리즘 지연을 20ms로 유지함으로써 CPU에서 실시간 추론이 가능하다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 외부 신호 정렬 모듈에 의존하지 않고도 강력한 에코 제거 성능을 달성할 수 있는가?
• RQ2 특징 공간에서 종단간 교차 어텐션 기반 정렬이 전통적인 교차상관관계 대비 에코 억제 성능과 지연 추정 오류에 대한 내구성에서 어떻게 비교되는가?
• RQ3 내장형 정렬이 장시간 또는 변동성이 큰 지연 조건에서 성능 향상에 얼마나 기여하는가?
• RQ4 통합된 정렬 기능을 갖춘 모델이 대규모 시스템에서 실시간 배포에 적합한 낮은 추론 지연과 계산 복잡도를 유지할 수 있는가?
• RQ5 더블톡 상황에서 최신 AEC 솔루션 대비 모델 성능은 어떠한가?

주요 결과

• FEST-HD 서브셋(어려운 지연 추정 케이스 포함)에서 Align-CRUSE는 실시간 정렬 기반 CRUSE 기준선 대비 ERLE 7.22 dB 향상 및 AECMOS 0.24 향상 달성.
• 합성 장지연 데이터셋(LD-M 및 LD-H)에서, 전역적으로 정렬된 CRUSE‡‡ 기준선 대비 최대 0.6 AECMOS 및 7 dB ERLE 향상.
• 기본 CRUSE 모델 대비 거의 동일한 추론 시간(≈2.5 ms/frame)과 추가 파rameter 수(0.01M)를 유지하여 낮은 지연 실시간 동작을 보장한다.
• 더블톡 및 FEST MOS 평가에서, CRUSE‡ 기준선 대비 뚜렷한 성능 향상을 보이며, AEC 챌린지 수상자 대비 경쟁력 있는 성능을 달성했고, 5–7배 빠른 속도를 확보했다.
• Microsoft Teams에 성공적으로 배포되어 매일 수백만 건의 통화에서 음성 품질을 향상시켜 실생활에서의 확장성과 내구성을 입증했다.
• 어텐션 맵의 시각화 결과, 모델이 의미 있는 지연 분포를 학습하고 복잡하거나 노이즈가 많거나 정렬이 어긋난 조건에서도 효과적으로 신호를 정렬함을 확인했다.