[論文レビュー] Wavelet Convolutional Neural Networks

Shin Fujieda, Kohei Takayama+1 more|arXiv (Cornell University)|May 20, 2018

Remote-Sensing Image Classification参考文献 28被引用数 107

ひとこと要約

この論文は多解像度ウェーブレット解析をCNNに組み込み、スペクトル情報を捉えることで、従来のCNNに比べてはるかに少ないパラメータでテクスチャ分類と画像注釈を改善する Wavelet CNNs を創出する。

ABSTRACT

Spatial and spectral approaches are two major approaches for image processing tasks such as image classification and object recognition. Among many such algorithms, convolutional neural networks (CNNs) have recently achieved significant performance improvement in many challenging tasks. Since CNNs process images directly in the spatial domain, they are essentially spatial approaches. Given that spatial and spectral approaches are known to have different characteristics, it will be interesting to incorporate a spectral approach into CNNs. We propose a novel CNN architecture, wavelet CNNs, which combines a multiresolution analysis and CNNs into one model. Our insight is that a CNN can be viewed as a limited form of a multiresolution analysis. Based on this insight, we supplement missing parts of the multiresolution analysis via wavelet transform and integrate them as additional components in the entire architecture. Wavelet CNNs allow us to utilize spectral information which is mostly lost in conventional CNNs but useful in most image processing tasks. We evaluate the practical performance of wavelet CNNs on texture classification and image annotation. The experiments show that wavelet CNNs can achieve better accuracy in both tasks than existing models while having significantly fewer parameters than conventional CNNs.

研究の動機と目的

• 単一モデル内でCNNと多解像度解析を結合する。
• CNNを多解像度解析の限定形として再定式化し、欠損している高周波成分を補完する。
• より少ないパラメータでテクスチャ分類と画像注釈に実用的な利得を実証する。
• 実データセットでゼロからでも微調整でも Wavelet CNNs が効果的に訓練できることを示す。

提案手法

• 畳み込みとプーリングを一般化されたフィルタリングとダウンサンプリング操作として再定式化する。
• ネットワーク内に多解像度分解を形成するため、別の高周波/低周波フィルタセット（ウェーブレット風）を導入する。
• Haarウェーブレットを用いてCNNアーキテクチャ内でウェーブレット変換を実現する。
• デンス接続とプロジェクションショートカットを備えたVGGに似たバックボーンを採用し、マルチ解像度ブランチを融合する。
• グローバルアベレージプーリング、バッチ正規化、Adamオプティマイザを用い、入力サイズは固定で224×224。
• 効率と性能上の利点を示すため、テクスチャと注釈タスクで訓練する。

実験結果

リサーチクエスチョン

• RQ1 Can embedding a multiresolution (wavelet) analysis inside a CNN improve its ability to capture spectral information?
• RQ2 Do wavelet CNNs achieve better or competitive accuracy on texture classification and image annotation while using fewer trainable parameters than traditional CNNs?
• RQ3 How does the wavelet-based approach compare to existing spectral and CNN architectures (e.g., AlexNet, T-CNN) in both scratch training and fine-tuning scenarios?

主な発見

• Wavelet CNNs achieve higher texture classification accuracy than AlexNet and T-CNN across datasets kth-tips2-b and DTD when trained from scratch.
• With five-level multiresolution decomposition, Wavelet CNNs reach 63.7% vs 59s–63% depending on level on kth-tips2-b and 35.6% on DTD when trained from scratch.
• When pre-trained on ImageNet, Wavelet CNNs outperform spectral and bilinear pooling baselines on texture datasets (e.g., 74.0% on kth-tips2-b vs 72.4% for the best comparison).
• In image annotation, Wavelet CNNs improve per-class and overall metrics over VGG-16-based RIAs on IAPR-TC12 (e.g., C-P 29.01 vs 22.97; O-P 37.43 vs 33.87).
• On Microsoft COCO, Wavelet CNNs show competitive gains over VGG-16 RIAs in precision/recall/F1 (per-class and overall).
• The Wavelet CNNs use far fewer parameters (about 18.3M) than VGG-16 (138.4M) and other baselines, with memory usage around 53.9 MB vs 232 MB for VGG-16.