[論文レビュー] Anti-aliasing Deep Image Classifiers using Novel Depth Adaptive Blurring and Activation Function

Tahmid Hossain, Shyh Wei Teng+2 more|arXiv (Cornell University)|Oct 3, 2021

Adversarial Robustness in Machine Learning参考文献 55被引用数 4

ひとこと要約

本稿では、深層画像分類器のロバスト性を向上させるために、深さに応じたぼかし（DAB-pool）と新しいアンチエイリアシングReLU（AA-ReLU）を提案する。層ごとに学習するぼかしカーネルを用い、活性化関数に低域通過フィルタを埋め込むことで、ダウンサンプリングおよび非線形性に起因するエイリアシングを低減する。ResNet-101、VGG16、DenseNet-121の全アーキテクチャで、シフト、ノイズ、敵対的攻撃に対する最先端の性能を達成する。

ABSTRACT

Deep convolutional networks are vulnerable to image translation or shift, partly due to common down-sampling layers, e.g., max-pooling and strided convolution. These operations violate the Nyquist sampling rate and cause aliasing. The textbook solution is low-pass filtering (blurring) before down-sampling, which can benefit deep networks as well. Even so, non-linearity units, such as ReLU, often re-introduce the problem, suggesting that blurring alone may not suffice. In this work, first, we analyse deep features with Fourier transform and show that Depth Adaptive Blurring is more effective, as opposed to monotonic blurring. To this end, we outline how this can replace existing down-sampling methods. Second, we introduce a novel activation function -- with a built-in low pass filter, to keep the problem from reappearing. From experiments, we observe generalisation on other forms of transformations and corruptions as well, e.g., rotation, scale, and noise. We evaluate our method under three challenging settings: (1) a variety of image translations; (2) adversarial attacks -- both $\ell_{p}$ bounded and unbounded; and (3) data corruptions and perturbations. In each setting, our method achieves state-of-the-art results and improves clean accuracy on various benchmark datasets.

研究の動機と目的

• 画像のシフト、ノイズ、敵対的攻撃などの微小な入力摂動に対して脆弱である深層CNNの問題を解決すること。
• 非一様なダウンサンプリングとReLU活性化によるエイリアシングが、ロバスト性の低下の主な要因であることを特定すること。
• 深層層でより強いぼかしカーネルを学習することで、高周波数成分を保持する、深さに応じたぼかし機構を提案すること。
• 活性化関数内に低域通過フィルタを組み込むことで、非線形性後に高周波数エイリアシングが再導入されないよう、新しい活性化関数（AA-ReLU）を設計すること。
• トランスレーション、回転、スケーリング、敵対的攻撃を含む多様な摂動に対して、本手法の一般化性能を実証すること。

提案手法

• 最大プーリングやストライド付き畳み込みに代わる、深さに応じたぼかしカーネルを学習可能なダウンサンプリングモジュールDAB-poolを提案。深層でより強いぼかしカーネルを適用する。
• フーリエ解析を用いて、深層特徴マップに高い周波数エネルギーが蓄積されることを示し、適応的ぼかしの必要性を裏付ける。
• 非線形性後に高周波数成分を抑制する、組み込み型低域通過フィルタを備えた変更版ReLU（AA-ReLU）を導入。
• 従来のダウンサンプリングおよびReLUユニットの代わりにDAB-poolとAA-ReLUをネットワークに統合し、既存アーキテクチャとの互換性を維持。
• アブレーションを通じてぼかしカーネルサイズと学習可能性を最適化し、特徴保持と抑制のトレードオフにおいて3×3ガウスカーネルが最適であると特定。
• ResNet-101、VGG16、DenseNet-121にDAB-poolとAA-ReLUを統合し、アーキテクチャを跨ぐ検証を実施。

Figure 1 : Features from an original image (top), and its shifted variant (bottom). The baseline (ResNet-101) – without any low-pass filtering, and MaxBlurPool (MBP) [ 3 ] – with monotonic blurring, both experience signal degeneration due to aliasing. Our method retains bulk of the expected signal.

実験結果

リサーチクエスチョン

• RQ1 固定または単調なぼかしと比較して、深さに応じたぼかしは、深層画像分類器の微小な空間的シフトに対してロバスト性を向上させるか？
• RQ2 活性化関数に直接低域通過フィルタを埋め込むことで、非線形性後に高周波数エイリアシングが再導入されないか？
• RQ3 DAB-poolとAA-ReLUは、単なるトランスレーションを超えて、多様なノイズや摂動、敵対的攻撃に対しても一般化性能を向上させるか？
• RQ4 適応的ぼかしとフィルタリング済み活性化の組み合わせは、収束速度とクリーン精度にどのような影響を与えるか？
• RQ5 提案されたモジュールは、アーキテクチャの変更なしに、さまざまなCNNアーキテクチャに効果的に移植可能か？

主な発見

• 3×3ガウスぼかしカーネルを用いたDAB-poolは、5×5や7×7のカーネルよりも優れた性能を示す。大きなカーネルは、特に空間次元が小さい深層層で特徴を過剰にぼかす。
• DAB-pool（3×3）とAA-ReLUの組み合わせは、ImageNetで81.45%のクリーン精度を達成し、ベースラインのResNet-101（ReLUと最大プーリング）の76.37%を5.08ポイント上回る。
• 対角シフト条件下では、DAB-pool + AA-ReLUが94.11%のシフト一貫性を達成し、ベースライン（88.95%）および他の構成よりも顕著に優れる。
• 本手法は、ImageNet-CのデータノイズやImageNet-Pの摂動に対してもロバスト性を向上させ、トランスレーションを超えた一般化を示す。
• 訓練時間は22.6分/エポックとやや長くなるが、AA-ReLUの出力が有界であるため、最適化の探索空間が小さくなり、SABPよりも収束が速い。
• アブレーションスタディにより、AA-ReLUはDAB-poolと組み合わせた場合でも、ReLUやC-ReLUと比較して一貫してシフト不変性とクリーン精度を向上させることが確認された。

Figure 2 : (a) Fourier energy at different network depths (lower frequencies are in the centre). Heat maps are generated using feature maps, at different network depths, belonging to the ImageNet validation set. For all three networks, deeper feature maps have greater high frequency energy, suggesti