[論文レビュー] Wavelet-Attention CNN for Image Classification

Xiangyu Zhao|arXiv (Cornell University)|Jan 23, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、離散ウェーブレット変換（DWT）を用いて低周波数構造的特徴を保持しながら高周波数の詳細に焦点を当てるWavelet-Attention（WA）ブロックを適用することで、画像分類性能を向上させる新しい畳み込みニューラルネットワーク、Wavelet-Attention CNN（WA-CNN）を提案する。WAブロックはノイズをフィルタリングし、関連する高周波数情報を強調することで特徴学習を向上させ、MobileNetV2バックボーンを用いたCIFAR-10およびCIFAR-100でそれぞれ1.26%および1.54%のTop-1精度向上を達成した。

ABSTRACT

The feature learning methods based on convolutional neural network (CNN) have successfully produced tremendous achievements in image classification tasks. However, the inherent noise and some other factors may weaken the effectiveness of the convolutional feature statistics. In this paper, we investigate Discrete Wavelet Transform (DWT) in the frequency domain and design a new Wavelet-Attention (WA) block to only implement attention in the high-frequency domain. Based on this, we propose a Wavelet-Attention convolutional neural network (WA-CNN) for image classification. Specifically, WA-CNN decomposes the feature maps into low-frequency and high-frequency components for storing the structures of the basic objects, as well as the detailed information and noise, respectively. Then, the WA block is leveraged to capture the detailed information in the high-frequency domain with different attention factors but reserves the basic object structures in the low-frequency domain. Experimental results on CIFAR-10 and CIFAR-100 datasets show that our proposed WA-CNN achieves significant improvements in classification accuracy compared to other related networks. Specifically, based on MobileNetV2 backbones, WA-CNN achieves 1.26% Top-1 accuracy improvement on the CIFAR-10 benchmark and 1.54% Top-1 accuracy improvement on the CIFAR-100 benchmark.

研究の動機と目的

• 特徴マップ内のノイズおよび冗長な高周波数成分による畳み込みニューラルネットワーク（CNN）の特徴表現の劣化を解消すること。
• 低周波数構造的情報を保持しつつ、高周波数の詳細に選択的に注目することで、画像分類における特徴学習を向上させること。
• 主な特徴構造への干渉を最小限に抑えるために、高周波数ドメインに限定して動作する周波数に敏感な注目メカニズムを設計すること。
• 標準ベンチマーク上で複数のバックボーンアーキテクチャにわたって、提案されたWavelet-Attentionブロックの有効性を検証すること。
• DWTを用いた周波数ドメインでの注目が、小規模データセットにおけるモデルの一般化性能を向上させ、過学習を低減できることを示すこと。

提案手法

• 離散ウェーブレット変換（DWT）を用いて特徴マップを低周波数成分と高周波数成分に分解し、構造的内容と詳細・ノイズ情報に分離する。
• 高周波数成分にのみ学習可能な注目重みを適用するWavelet-Attention（WA）ブロックを導入し、ノイズのない関連する詳細を強調しながら、低周波数成分はそのままであるようにする。
• WAブロックは、高周波数特徴の重要度に基づいて適応的に再キャリブレーションを行う学習可能な注目メカニズムを用い、主な構造的特徴を変更せずに表現を向上させる。
• WA-CNNは、VGG、ResNet、MobileNetV2などの既存のCNNバックボーンにWAブロックを統合し、標準的な最適化プロトコルに従ったエンドツーエンド学習を可能にする。
• CIFAR-10およびCIFAR-100データセット上で、標準的なデータオーグメンテーション（ランダムクロップ、フリップ）とコサイン減衰学習率スケジュールを用いてモデルを学習する。
• 注目処理後に逆DWTを用いて特徴再構成を行い、標準的なCNNレイヤーや学習パイプラインと互換性を保つ。

実験結果

リサーチクエスチョン

• RQ1 DWTによる周波数ドメイン分解は、高周波数成分内のノイズと詳細を分離することで、CNNベースの画像分類のロバスト性と精度を向上させることができるか？
• RQ2 高周波数ドメインにのみ注目を適用することで、低周波数成分の主な構造的情報が劣化せずに特徴表現が向上するか？
• RQ3 小規模データセットにおける精度と一般化性能の観点から、標準的な注目メカニズム（例：SE、CBAM）と比較してWA-CNNはどのように差をつけるか？
• RQ4 アーキテクチャの大幅な見直しが不要な状態で、WAブロックをさまざまなCNNアーキテクチャに効果的に統合できるか？
• RQ5 高周波数ノイズをフィルタリングしながらも、意味のあるエッジやテクスチャの詳細を保持することで、WA-CNNは小規模データセットでの過学習を低減できるか？

主な発見

• CIFAR-10ベンチマークではMobileNetV2を上回る1.26%のTop-1精度向上を達成し、CIFAR-100では1.54%の向上を示した。
• VGG16bnでは、CIFAR-10で93.89%、CIFAR-100で73.66%のTop-1精度を達成し、すべてのベースラインおよび注目メカニズムを搭載したモデルを上回った。
• 最初の80エポック間で、ベースラインのVGG16bnと比較して、WAブロックは訓練損失を約0.2低減した。これは、より速く安定した収束を示している。
• VGG、ResNet、MobileNetV2を含む全テストバックボーンにおいて、WAブロックは一貫して性能向上を示し、特にMobileNetV2のような軽量モデルで最も顕著な向上を示した。
• SE、CBAM、ECAなどの他の注目メカニズムと比較しても、WAブロックは競争力のある結果を達成しており、特に大規模ネットワークにおいて優れた性能を示した。
• 可視化結果から、WA-CNNは類似または細分化された画像の認識を向上させ、より優れた識別能力を有していることが示された。