[論文レビュー] Learning Sparse Wavelet Representations

Daniel Recoskie, Richard Mann|arXiv (Cornell University)|Feb 8, 2018

Image and Signal Denoising Methods参考文献 9被引用数 6

ひとこと要約

本論文は、変更された畳み込みニューラルネットワーク（CNN）アーキテクチャを用いて、原始データから直接スパースなウェーブレットフィルタを学習する、微分可能でエンドツーエンドでトレーニング可能なオートエンコーダーフレームワークを提案する。勾配降下法による学習により、合成および実際の音声データから、従来のフーリエ由来のウェーブレットに類似した構造的ウェーブレット関数が学習され、事前のウェーブレット設計を必要とせずに、効果的な信号再構成と生成が可能となる。

ABSTRACT

In this work we propose a method for learning wavelet filters directly from data. We accomplish this by framing the discrete wavelet transform as a modified convolutional neural network. We introduce an autoencoder wavelet transform network that is trained using gradient descent. We show that the model is capable of learning structured wavelet filters from synthetic and real data. The learned wavelets are shown to be similar to traditional wavelets that are derived using Fourier methods. Our method is simple to implement and easily incorporated into neural network architectures. A major advantage to our model is that we can learn from raw audio data.

研究の動機と目的

• 機械学習応用における適切なウェーブレット関数の選択または設計の課題に対処すること。これは、しばしばウェーブレット理論の深い知識を要する。
• 解析的手法（フーリエ法）を経由せずに、原始データから直接ウェーブレットフィルタをエンドツーエンドで学習可能にする。
• ウェーブレット変換を微分可能なニューラルネットワークレイヤーとして定式化し、ディープラーニングパイプラインに統合すること。
• 学習されたウェーブレットがデータ固有の構造を捉え、効果的な信号再構成と生成を可能にするかを示すこと。
• 本手法が実装が簡単であり、TensorFlowなどの既存のディープラーニングフレームワークと互換性があることを示すこと。

提案手法

• 離散ウェーブレット変換（DWT）は、スケーリングフィルタ（h）とウェーブレットフィルタ（g）の2つの学習可能なフィルタを用いて、変更された畳み込みニューラルネットワークとして再定式化される。
• モデルは2段階のオートエンコーダーアーキテクチャを採用している：ウェーブレット変換エンコーダーに続くウェーブレット逆変換デコーダー。
• ネットワークは、入力信号の再構成誤差を最小化する目的で、Adam最適化法を用いた確率的勾配降下法でトレーニングされる。
• フィルタ重みは、完全再構成と安定性を保証するために、カスケード法を用いて初期化される。
• 学習されたフィルタと従来のウェーブレット族（例：ダウベシーズ、コフィレット）との比較に、円形シフトされたコサイン類似度に基づく距離指標が用いられる。
• 信号生成は、ウェーブレット係数をスパースに埋め込み、逆変換を適用することで、学習されたフィルタから新しい信号を生成することで評価される。

実験結果

リサーチクエスチョン

• RQ1 勾配ベース最適化を用いて、原始データからウェーブレットフィルタを効果的に学習できるか？
• RQ2 学習されたウェーブレットは、ダウベシーズやコフィレットなどの既存のウェーブレット族と構造的に類似しているか？
• RQ3 学習されたウェーブレットは、トレーニングデータの統計的および時間的構造を保持したまま、信号を再構成および生成できるか？
• RQ4 再構成精度および信号忠実度の観点から、固定された解析的導出ウェーブレットと比較して、学習されたウェーブレットの性能はどの程度か？
• RQ5 本手法は、音声および信号処理タスクにおける既存のディープラーニングパイプラインにどの程度統合可能か？

主な発見

• モデルは、合成された高調波信号およびMAPSデータセットからの実際の音声データの両方から、構造的ウェーブレットフィルタを効果的に学習できた。
• 学習されたウェーブレットは従来のウェーブレットと強く類似しており、ダウベシーズおよびコフィレット族とのコサイン距離スコアが最小で0.05にまで低下した。
• 学習されたウェーブレットのスパース係数から生成された信号は、トレーニング信号と視覚的に類似しており、データ構造の効果的な捉えが確認された。
• 本手法は、フーリエ変換のような手作業による表現を必要とせず、原始音声から直接学習可能である。
• フレームワークはTensorFlowなどのディープラーニングライブラリと互換性があり、既存のニューラルネットワークアーキテクチャにスムーズに統合可能である。
• オートエンコーダー構造は、学習されたウェーブレット基底の有効性を示す高品質な信号再構成を達成した。