[논문 리뷰] Robust Time Series Denoising with Learnable Wavelet Packet Transform

Gaëtan Frusque, Olga Fink|arXiv (Cornell University)|2022. 06. 13.

Image and Signal Denoising Methods인용 수 10

한 줄 요약

이 논문은 해석 가능한 웨이블릿 패킷 변환과 딥 뉴럴 네트워크의 적응 학습 능력을 결합한 학습 가능한 웨이블릿 패킷 변환(L-WPT)을 제안한다. 이 방법은 합성 및 실세계 음성 신호에서 최신 기술 수준의 노이즈 제거 성능을 달성하며, 훈련 후 재학습 없이 원칙적인 $δ$-수정을 통해 파rameter 조정이 가능하여 알려지지 않은 노이즈 유형과 강도로의 일반화 능력이 뛰어나다.

ABSTRACT

Signal denoising is a key preprocessing step for many applications, as the performance of a learning task is closely related to the quality of the input data. In this paper, we apply a signal processing based deep neural network architecture, a learnable extension of the wavelet packet transform. As main advantages, this model has few parameters, an intuitive initialization and strong learning capabilities. Moreover, we show that it is possible to easily modify the parameters of the model after the training step to tailor to different noise intensities. Two case studies are conducted to compare this model with the state of the art and commonly used denoising procedures. The first experiment uses standard signals to study denoising properties of the algorithms. The second experiment is a real application with the objective to remove audio background noises. We show that the learnable wavelet packet transform has the learning capabilities of deep learning methods while maintaining the robustness of standard signal processing approaches. More specifically, we demonstrate that our approach maintains excellent denoising performances on signal classes separate from those used during the training step. Moreover, the learnable wavelet packet transform was found to be robust when different noise intensities, noise varieties and artifacts are considered.

연구 동기 및 목표

• 신호 처리의 강건성과 딥 러닝의 학습 능력을 융합한 노이즈 제거 방법을 개발한다.
• 재학습 없이 훈련 후 다양한 노이즈 수준에 대한 노이즈 제거 성능 조정을 가능하게 한다.
• 훈련 분포 외의 신호 유형과 노이즈 유형으로의 일반화 능력을 평가한다.
• 최신 기술 수준의 방법들과 비교해 실세계 음성 신호의 배경 노이즈 제거에서 뛰어난 성능을 보여준다.
• 해석 가능하고 파rameter 효율적인 아키텍처를 제공하며, 직관적인 초기화를 가능하게 한다.

제안 방법

• L-WPT 아키텍처는 웨이블릿 스파arsity 작동 방식을 모방하는 학습 가능한 활성화 함수를 갖춘 학습 가능한 웨이블릿 패킷 변환을 사용한다.
• 최적의 분해 및 임계값 설정 파rameter를 학습하기 위해 청소된 신호-노이즈 쌍을 기반으로 감독형 오토인코더로 훈련한다.
• 새로운 노이즈 강도에 적응하기 위해 훈련 후 파arameter를 수동 조정할 수 있는 새로운 $δ$-수정 기법을 도입한다.
• 학습 안정성과 성능 향상을 위해 이전 연구에서 제안한 L-WPT 아키텍처의 완화된 버전을 사용한다.
• 모델 파arameter는 표준 웨이블릿 패킷 변환 동작을 반영하도록 초기화되어 있어 수렴성과 해석 가능성 향상에 기여한다.
• L-WPT에서 생성된 시간-주파수 표현을 노이즈 제거를 위한 특징 공간으로 사용하며, 다중 해상도 신호 특성을 유지한다.

실험 결과

연구 질문

• RQ1 학습 가능한 웨이블릿 패킷 변환은 표준 웨이블릿 노이즈 제거 및 딥 러닝 기반 기준보다 뛰어난 노이즈 제거 성능을 달성할 수 있는가?
• RQ2 L-WPT는 훈련 중에 볼 수 없었던 신호 유형과 노이즈 유형으로 얼마나 잘 일반화되는가?
• RQ3 $δ$-수정 기법은 재학습 없이도 새로운 노이즈 수준에 모델을 효과적으로 적응시키는 데 얼마나 효과적인가?
• RQ4 L-WPT는 다양한 노이즈 강도와 잡음 유형에 대해 강건한가?
• RQ5 L-WPT는 실세계 음성 신호의 배경 노이즈 제거에 효과적으로 적용될 수 있는가?

주요 결과

• L-WPT는 합성 테스트 신호에서 표준 웨이블릿 패킷 노이즈 제거 및 딥 러닝 기준보다 뛰어난 성능을 보이며, 뛰어난 학습 능력을 입증했다.
• 모델는 훈련 분포와 다른 신호 유형으로도 잘 일반화되어, 훈련 데이터와 다른 신호에서도 강력한 노이즈 제거 성능 유지를 보였다.
• $δ$-수정을 통해 훈련 후 새로운 노이즈 수준에 효과적으로 적응할 수 있었으며, 다양한 신호 대 노이즈 비율에서도 성능 유지가 가능했다.
• 실세계 공항 배경 노이즈 제거 작업에서 L-WPT는 비교된 모든 방법, 포함해 최신 기술 수준의 딥 러닝 모델들보다 뛰어난 노이즈 제거 성능을 달성했다.
• L-WPT는 다양한 노이즈 유형과 잡음 유형에 대해 강건했으며, 다양한 노이즈 강도와 스펙트럼 내용에서도 일관된 성능을 보였다.
• 게인 점수 분석을 통해 L-WPT가 저주파 배경 노이즈(0–800 Hz)를 효과적으로 억제하면서도 고주파 성분을 유지하는 것을 확인했으며, 주파수별 특화된 노이즈 제거 능력을 입증했다.