[論文レビュー] Wavelet based edge feature enhancement for convolutional neural networks

D. D. N. De Silva, Subha Fernando+2 more|arXiv (Cornell University)|Aug 29, 2018

Image and Signal Denoising Methods参考文献 32被引用数 5

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）の入力画像におけるエッジ特徴を強化するための2つのウェーブレットベースの前処理手法を提案する。最初の手法は、詳細ウェーブレット係数のみを用いて画像を再構築するものであり、2番目の手法はウェーブレット係数の局所的モジュラス最大値を介してエッジを検出するものである。両手法とも分類精度を顕著に向上させ、特にモジュラス最大値手法はAlexNetを用いてCIFAR-10で89.63%の精度を達成し、ベースラインや先行研究を上回った。

ABSTRACT

Convolutional neural networks are able to perform a hierarchical learning process starting with local features. However, a limited attention is paid to enhancing such elementary level features like edges. We propose and evaluate two wavelet-based edge feature enhancement methods to preprocess the input images to convolutional neural networks. The first method develops feature enhanced representations by decomposing the input images using wavelet transform and limited reconstructing subsequently. The second method develops such feature enhanced inputs to the network using local modulus maxima of wavelet coefficients. For each method, we have developed a new preprocessing layer by implementing each purposed method and have appended to the network architecture. Our empirical evaluations demonstrate that the proposed methods are outperforming the baselines and previously published work with significant accuracy gains.

研究の動機と目的

• 特徴学習の前段階で入力画像の低レベルエッジ特徴を強化することで、CNNの性能を向上させること。
• 階層的特徴学習において重要な役割を果たすにもかかわらず、従来のCNNアーキテクチャにおけるエッジ特徴強化への注目が限定的であるという問題に取り組むこと。
• データをネットワークに供給する前にエッジ表現を豊かにする、2つの新規なウェーブレットベースの前処理技術を開発・評価すること。
• 複数のベンチマークデータセットにおいて、エッジ強化入力が分類精度に顕著な向上をもたらすことを実証的に検証すること。

提案手法

• 最初の手法は、入力画像に対して離散ウェーブレット変換（DWT）を実行し、最も粗い近似係数を破棄した後、詳細係数のみを用いて画像を再構築する。
• 2番目の手法は、ウェーブレット係数の絶対値を計算し、局所的最大値を特定することでエッジを検出する。これにより、洗練されたエッジ強化表現が得られる。
• 両手法とも、主なCNNアーキテクチャの直前に挿入される専用の前処理レイヤーとして実装されており、エンドツーエンドの学習を維持している。
• 両手法で計算効率とエッジ検出適合性の両面を考慮し、ハールウェーブレットを基本のウェーブレット変換として採用している。
• モジュラス最大値手法は、マルタの多スケールエッジ検出理論に基づいており、ウェーブレットモジュラス最大値が勾配に基づくエッジ局在化と関連することを示している。
• 提案された前処理レイヤーは、AlexNetなどの標準CNNに統合され、MNIST、SVHN、CIFAR-10で評価された。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレットベースの前処理により、CNNの分類精度を向上させるようなエッジ特徴の強化が可能か？
• RQ2 標準的な画像分類ベンチマークにおいて、異なるウェーブレットベースのエッジ強化戦略の性能向上度はどのように比較できるか？
• RQ3 ウェーブレット係数のモジュラス最大値を用いることで、単純な係数再構築よりも優れたエッジ表現が得られるか？
• RQ4 エッジ強化入力は、より深くまたはより複雑なネットワークアーキテクチャの必要性をどの程度低減できるか？
• RQ5 標準的なCNNパイプラインに、アーキテクチャの変更なしにウェーブレットベースの前処理を効果的に統合できるか？

主な発見

• モジュラス最大値エッジ強化手法は、AlexNetを用いてCIFAR-10で89.63%のテスト精度を達成し、ベースラインのAlexNet（87%）およびバッチ正規化変種（89%）を上回った。
• ナーブなエッジ強化手法はCIFAR-10で89.47%の精度を達成し、ベースラインを一貫して上回った。
• MNISTでは、モジュラス最大値手法が99.3%の精度に達し、以前のウェーブレットネットワーク手法（94.2%）を上回り、最高の先行結果（99.21%）に非常に近い値を記録した。
• SVHNでは、モジュラス最大値手法により精度が94.43%に向上し、ベースラインのAlexNet（93.24%）から1.19%の向上を達成した。
• 全データセットにおいて、モジュラス最大値手法はナーブ再構築手法を一貫して上回り、より洗練されたエッジ表現であることが示された。
• 結果から、CNNの階層的特徴学習プロセスにおいて、入力レベルでのエッジ特徴強化が顕著な向上をもたらすことが確認された。