[論文レビュー] Robust Time Series Denoising with Learnable Wavelet Packet Transform

Gaëtan Frusque, Olga Fink|arXiv (Cornell University)|Jun 13, 2022

Image and Signal Denoising Methods被引用数 10

ひとこと要約

本稿では、信号処理の解釈可能性と深層ニューラルネットワークの適応学習能力を組み合わせた、学習可能なウェーブレットパッケージ変換（L-WPT）を提案する。この手法は、合成および実世界の音声信号において最先端のノイズ除去性能を達成し、訓練時に見られなかったノイズタイプや強度に対しても良好に一般化可能であり、再訓練なしに原理的である$δ$-変更を用いた後処理によるパラメータの適応が可能である。

ABSTRACT

Signal denoising is a key preprocessing step for many applications, as the performance of a learning task is closely related to the quality of the input data. In this paper, we apply a signal processing based deep neural network architecture, a learnable extension of the wavelet packet transform. As main advantages, this model has few parameters, an intuitive initialization and strong learning capabilities. Moreover, we show that it is possible to easily modify the parameters of the model after the training step to tailor to different noise intensities. Two case studies are conducted to compare this model with the state of the art and commonly used denoising procedures. The first experiment uses standard signals to study denoising properties of the algorithms. The second experiment is a real application with the objective to remove audio background noises. We show that the learnable wavelet packet transform has the learning capabilities of deep learning methods while maintaining the robustness of standard signal processing approaches. More specifically, we demonstrate that our approach maintains excellent denoising performances on signal classes separate from those used during the training step. Moreover, the learnable wavelet packet transform was found to be robust when different noise intensities, noise varieties and artifacts are considered.

研究の動機と目的

• 信号処理のロバスト性とディープラーニングの学習能力を統合したノイズ除去手法の開発。
• 再訓練なしに、変化するノイズレベルに応じたノイズ除去性能の後処理による適応を可能にすること。
• 学習分布外の信号クラスやノイズタイプに対する一般化の評価。
• 最先端の手法と比較して、実世界の音声バックグラウンドノイズ除去において優れた性能を示すこと。
• 解釈可能でパラメータ効率が良く、直感的な初期化が可能なアーキテクチャの提供。

提案手法

• L-WPTアーキテクチャは、ウェーブレットシャープニング操作を模倣する学習可能な活性化関数を備えた学習可能なウェーブレットパッケージ変換を用いる。
• 最適な分解およびしきい値設定パラメータを学習するために、クリーン-ノイズ混在信号ペアを用いた教師ありオートエンコーダとしてモデルを訓練する。
• 新規のノイズ強度に適応するための、後処理におけるパラメータの手動調整を可能にする、新規の$δ$-変更技術を導入する。
• 学習安定性と性能の向上を目的に、先行研究のリラックス版L-WPTアーキテクチャを用いる。
• パラメータの初期化を標準的なウェーブレットパッケージ変換の挙動に合わせることで、収束性と解釈可能性を向上させる。
• L-WPTの時間周波数表現を、マルチスケール信号特性を保持する特徴空間として用いる。

実験結果

リサーチクエスチョン

• RQ1 学習可能なウェーブレットパッケージ変換は、標準的なウェーブレットノイズ除去法およびディープラーニングベースラインと比較して、優れたノイズ除去性能を達成できるか？
• RQ2 L-WPTは、学習時に見られなかった信号クラスやノイズタイプに対し、どの程度一般化できるか？
• RQ3 $δ$-変更技術は、再訓練なしに新しいノイズレベルにモデルを適応させるためにどの程度効果的か？
• RQ4 L-WPTは、多様なノイズ強度およびアーティファクトに対して、どの程度ロバスト性を保っているか？
• RQ5 L-WPTは、実世界の音声バックグラウンドノイズ低減に効果的に応用できるか？

主な発見

• L-WPTは、合成テスト信号において、標準的なウェーブレットパッケージノイズ除去法およびディープラーニングベースラインを上回り、優れた学習能力を示した。
• モデルは、学習分布とは異なる信号クラスに対しても良好に一般化し、訓練時とは異なる信号でも強力なノイズ除去性能を維持した。
• $δ$-変更により、再訓練なしに新しいノイズレベルに効果的に適応可能であり、さまざまな信号対ノイズ比において性能が維持された。
• 実世界の空港のバックグラウンドノイズ除去タスクにおいて、L-WPTは、比較したすべての手法（SOTAディープラーニングモデルを含む）を上回るノイズ除去性能を達成した。
• L-WPTは、多様なノイズタイプおよびアーティファクトに対し、一貫した性能を示し、さまざまなノイズ強度およびスペクトル内容においてロバストであった。
• ゲインスコア分析により、L-WPTが低周波数のバックグラウンドノイズ（0–800 Hz）を効果的に抑制しながら、高周波成分を保持していることが確認され、周波数特異的なノイズ除去の有効性が示された。