[論文レビュー] Deep Learning in the Wavelet Domain

Fergal Cotter, Nick Kingsbury|arXiv (Cornell University)|Nov 14, 2018

Image and Signal Denoising Methods参考文献 18被引用数 14

ひとこと要約

本論文は、二重木複素ウェーブレット変換（DT-CWT）を用いてウェーブレット領域で畳み込み特徴抽出を実行する、深層学習用の新規レイヤーを提案する。この手法により、標準のCNNと比較して顕著に少ないパラメータで学習可能で局所的かつスパースなフィルタリングが可能となる。本手法はCIFAR-10/100でほぼ合成的性能を達成し、勾配逆伝播によるマルチレートウェーブレットシステムを通したエンド・ツー・エンドの学習と、標準ネットワークとの互換性を示した。

ABSTRACT

This paper examines the possibility of, and the possible advantages to learning the filters of convolutional neural networks (CNNs) for image analysis in the wavelet domain. We are stimulated by both Mallat's scattering transform and the idea of filtering in the Fourier domain. It is important to explore new spaces in which to learn, as these may provide inherent advantages that are not available in the pixel space. However, the scattering transform is limited by its inability to learn in between scattering orders, and any Fourier domain filtering is limited by the large number of filter parameters needed to get localized filters. Instead we consider filtering in the wavelet domain with learnable filters. The wavelet space allows us to have local, smooth filters with far fewer parameters, and learnability can give us flexibility. We present a novel layer which takes CNN activations into the wavelet space, learns parameters and returns to the pixel space. This allows it to be easily dropped in to any neural network without affecting the structure. As part of this work, we show how to pass gradients through a multirate system and give preliminary results.

研究の動機と目的

• ピクセル空間における畳み込みとは異なり、ウェーブレット領域での学習を検討し、不変性とパラメータ効率の向上を図ること。
• 固定されたスキャattering変換やフーリエ領域におけるパrameter化の限界を克服し、ウェーブレット領域で学習可能で局所的なフィルタを可能とすること。
• 従来のCNNアーキテクチャに構造的変更を加えずにシームレスに統合可能な微分可能なウェーブレットベースのレイヤーを設計すること。
• マルチレートウェーブレット変換を介した勾配逆伝播を可能とし、複素ウェーブレット係数の勾配計算を含むエンド・ツー・エンドの学習を実現すること。
• 標準的な画像分類ベンチマークを用いたウェーブレット領域学習の実現可能性と性能を評価すること。

提案手法

• 本手法は、方向選択性と低減されたアリヤシングを提供する二重木複素ウェーブレット変換（DT-CWT）を用いて、CNNの活性化出力をウェーブレット領域に変換する。
• 個々のウェーブレットサブバンドに学習可能な複素ゲインを適用し、ローパス帯域には実数ゲインを適用することで、周波数領域での局所的フィルタリングを効果的に行う。パラメータは最小限に抑える。
• 1×1畳み込みに類似した操作を複素ウェーブレット係数上で実行し、サブバンドエネルギーの空間的に局所的な学習可能な変調を可能にする。
• 逆ウェーブレット変換の勾配が、フィルタを逆順に適用した前方変換に等価であることを示すことで、マルチレートシステムを介した勾配伝播を可能にする。
• 重み更新則は、出力の勾配と前方伝播における時間反転されたウェーブレット係数の畳み込みを用いて導出される。
• 本手法は実数および複素ウェーブレット係数の両方をサポートし、ゲインの実部と虚部の成分に対して別々の勾配更新が行われる。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレット領域における学習可能なフィルタは、パラメータを大幅に削減しつつ、標準CNNと同等の性能を達成できるか？
• RQ2 複素係数を有するマルチレートウェーブレットシステムを介した勾配逆伝播を効果的に実装する方法は何か？
• RQ3 ウェーブレット領域での学習は、ピクセル領域での学習と比較して不変性やスパarsityの面で優位性を示すか？
• RQ4 ウェーブレット領域のレイヤーは、アーキテクチャの変更なしに標準CNNアーキテクチャにシームレスに統合可能か？
• RQ5 画像サイズや複雑さの増加に伴い、ウェーブレット領域学習の性能はどのようにスケーリングするか？

主な発見

• 提案されたウェーブレット領域レイヤーは、CIFAR-10およびCIFAR-100で標準CNNとほぼ同一の検証精度を達成し、わずかな性能低下にとどまった。
• CIFAR-10では、全訓練データを用いた5回の実験平均で検証精度88.7%を達成したが、標準LeNetでは89.1%であった。
• CIFAR-100では、ウェーブレットモデルが平均67.3%の精度を達成したのに対し、標準モデルは68.0%であった。これは非常に高い競争力を持つ性能を示している。
• 本手法は、標準の5×5畳み込みと比較して、1フィルタあたりのパラメータ数を約25倍削減したが、有効な受容 field は約5×5ピクセルおよび約15×15ピクセルを維持した。
• DT-CWTシステムを通じて勾配が正常に伝播し、Adamと重み減衰を用いた安定した最適化が可能となった。
• 予備的な結果から、ピクセル領域の非線形活性化（例：ReLU）とウェーブレット領域のスリミング関数を組み合わせることで、さらなる性能向上が期待できる。