[논문 리뷰] DF-Conformer: Integrated architecture of Conv-TasNet and Conformer using linear complexity self-attention for speech enhancement

Yuma Koizumi, Shigeki Karita외 5명|arXiv (Cornell University)|2021. 06. 30.

Speech and Audio Processing인용 수 7

한 줄 요약

이 논문은 시간 도메인 마스크 예측 네트워크에 Conformer 블록과 확장된 디프스와이즈 컨볼루션을 통합한 새로운 음성 강화 모델인 DF-Conformer을 제안한다. 선형 복잡도 자기주의(Favorite+)를 사용하여 계산 효율성을 유지한다. 이 모델은 TDCN++보다 높은 스케일 인variant SNR 향상도를 달성하면서도 낮은 추론 지연을 유지하여 뛰어난 성능과 확장성을 입증한다.

ABSTRACT

Single-channel speech enhancement (SE) is an important task in speech processing. A widely used framework combines an analysis/synthesis filterbank with a mask prediction network, such as the Conv-TasNet architecture. In such systems, the denoising performance and computational efficiency are mainly affected by the structure of the mask prediction network. In this study, we aim to improve the sequential modeling ability of Conv-TasNet architectures by integrating Conformer layers into a new mask prediction network. To make the model computationally feasible, we extend the Conformer using linear complexity attention and stacked 1-D dilated depthwise convolution layers. We trained the model on 3,396 hours of noisy speech data, and show that (i) the use of linear complexity attention avoids high computational complexity, and (ii) our model achieves higher scale-invariant signal-to-noise ratio than the improved time-dilated convolution network (TDCN++), an extended version of Conv-TasNet.

연구 동기 및 목표

• Conv-TasNet의 마스크 예측 네트워크에 Conformer 아키텍처를 통합하여 시간 도메인 음성 강화에서 순차적 모델링을 향상시키는 것.
• 긴 시퀀스에서 표준 다중 헤드 자기주의의 높은 계산 비용 문제를 해결하기 위해 선형 복잡도 자기주의(Favorite+)를 활용하는 것.
• 확장된 디프스와이즈 컨볼루션과 Conformer 블록을 조합하여 국소적 및 전역적 시간 모델링을 향상시키는 것.
• 기존 SOTA 모델들과 유사한 계산 효율성을 유지하면서도 최신 기술 수준의 성능을 달성하는 것.
• 객관적 지표와 주의 시각화를 통해 하이브리드 아키텍처의 효과성을 검증하는 것.

제안 방법

• TDCN++ 마스크 예측 네트워크에 Conformer 블록을 통합하여 표준 자기주의를 FAVOR+로 대체함으로써 선형 복잡도를 확보한다.
• 1D 확장된 디프스와이즈 컨볼루션 레이어를 사용하여 수신 영역을 확장하고 국소적 순차 모델링을 향상시킨다.
• 엔드 투 엔드 시간 도메인 음성 강화를 위해 학습 가능한 분석/합성 필터뱅크를 활용한다.
• 훈련 안정성을 높이기 위해 인스턴스 정규화와 학습 가능한 스케일 파라미터를 적용하며, TDCN++와 유사한 방식을 사용한다.
• 양성 직교 랜덤 특징을 통해 FAVOR+ 자기주의를 활용하여 자기주의 복잡도를 O(n²)에서 O(n)으로 감소시킨다.
• 표준 SE 손실 함수를 사용하여 총 3,396시간의 노이즈 있는 음성 데이터로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 Conformer 블록을 Conv-TasNet 기반 아키텍처에 통합하면 음성 강화 성능이 향상되는가?
• RQ2 선형 복잡도 자기주의(Favorite+)의 사용은 계산 비용 증가 없이 효과적인 장거리 모델링을 가능하게 하는가?
• RQ3 확장된 컨볼루션과 Conformer 블록의 조합이 시간 도메인 SE에서 국소적 및 전역적 순차 모델링에 어떤 영향을 미치는가?
• RQ4 제안된 아키텍처는 낮은 추론 시간을 유지하면서도 TDCN++을 초월하는 성능을 달성할 수 있는가?
• RQ5 DF-Conformer의 주의 패턴은 모델이 노이즈와 음성을 효과적으로 구분하는 데 어떤 영향을 미치는가?

주요 결과

• DF-Conformer-8는 스케일 인variant SNR 향상도(SI-SNRi) 14.43 dB를 기록하여 TDCN++(14.10 dB)과 Conv-Tasformer(14.36 dB)를 초월했으며, 계산 비용은 유사한 수준을 유지했다.
• FAVOR+ 주의 메커니즘의 사용으로 계산 복잡도를 감소시키면서도 높은 성능 유지를 달성하여, iDF-Conformer-12와 같은 더 큰 모델이 15.93 dB SI-SNRi를 달성할 수 있었다.
• DF-Conformer의 주의 매트릭스 분석 결과, 초기 레이어는 노이즈와 음성 특성을 포괄적으로 캡처하기 위해 전역적으로 주의를 기울이며, 깊이 있는 레이어는 국소적 구조를 활용해 마스크를 정밀하게 개선하는 것으로 나타났다.
• 1D-DDC 레이어와 FAVOR+ 주의의 통합은 실시간 요인(RTF)을 증가시키지 않으면서 성능 향상을 이끌어내었으며, DF-Conformer-8는 RTF ≈ 0.13을 기록했다.
• iDF-Conformer-12는 15.93 dB SI-SNRi와 88.4% ESTOI를 기록하여 모델 크기 증가에 따라 강력한 확장성을 입증했다.
• 시각적 분석 결과, DF-Conformer의 주의 헤드가 국소 프레임에만 집중하는 것이 아니라 시퀀스 전반에 걸쳐 다양한 주의 패턴을 학습하는 것으로 확인되었다.