[論文レビュー] An Effective Anti-Aliasing Approach for Residual Networks

Cristina Nader Vasconcelos, Hugo Larochelle+3 more|arXiv (Cornell University)|Nov 20, 2020

Adversarial Robustness in Machine Learning参考文献 16被引用数 23

ひとこと要約

この論文は、残差ネットワークにおけるシンプルで学習不能なアンチエイリアシング手法を提案する。この手法は、ストライド畳み込み層、スキップ接続、初期のパooling層といったダウンサンプリングの重要な位置にぼかしフィルタを挿入し、滑らかな活性化関数と併用する。この方法により、ImageNet-C および Meta-Dataset における分布外一般化性能が著しく向上し、学習可能なパラメータを追加しないまま、ImageNet-C で64.9%の最新のmCEを達成し、Meta-Dataset で3.75%の絶対的精度上昇を達成した。

ABSTRACT

Image pre-processing in the frequency domain has traditionally played a vital role in computer vision and was even part of the standard pipeline in the early days of deep learning. However, with the advent of large datasets, many practitioners concluded that this was unnecessary due to the belief that these priors can be learned from the data itself. Frequency aliasing is a phenomenon that may occur when sub-sampling any signal, such as an image or feature map, causing distortion in the sub-sampled output. We show that we can mitigate this effect by placing non-trainable blur filters and using smooth activation functions at key locations, particularly where networks lack the capacity to learn them. These simple architectural changes lead to substantial improvements in out-of-distribution generalization on both image classification under natural corruptions on ImageNet-C [10] and few-shot learning on Meta-Dataset [17], without introducing additional trainable parameters and using the default hyper-parameters of open source codebases.

研究の動機と目的

• 分布シフト（自然な汚損や少サンプル学習など）下で周波数エイリアシングが深層ネットワークの性能を低下させるかどうかを調査すること。
• 残差ネットワークがアンチエイリアシングフィルタを暗黙的に学習するのか、あるいは明示的なアーキテクチャ的介入が必要かを特定すること。
• アンチエイリアシングフィルタの配置がモデル性能に与える影響、特に空間的サポートが限られたパスウェイにおいてどうなるかを評価すること。
• 受容 field の変化や勾配ダイナミクスなどの他の混同要因とは分離して、エイリアシング効果を特定すること。
• 多様な一般化設定にわたって耐性を高める軽量でパラメータフリーのアーキテクチャ的強化を構築すること。

提案手法

• ストライド畳み込み層、ストライド付きスキップ接続、初期のマックスプールング層の直後に非学習可能なガウスぼかしフィルタを挿入し、高周波数エイリアシングを抑制する。
• 勾配の流れを改善し、低レベル特徴マップにおける量子化アーティファクトを低減するために、Swish や GELU などの滑らかな活性化関数を適用する。
• 訓練時にデータ拡張（例：RandAugment）を用いることで、さらなる耐性を向上させるが、ImageNet-C の汚損と重複する拡張は除外する。
• 1×1畳み込みが空間的サポートを持たない、例えばダウンサンプリング後の残差スキップ接続のようなアーキテクチャのボトルネックにぼかしフィルタを配置する。
• 受容フィールドやバックプロパゲーションダイナミクスの変化とは分離して、エイリアシング低減の効果を特定するためのアブレーションスタディを実施する。
• 再現性と実用的適用性を確保するため、公開コードベースのデフォルトハイパーパramータを用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 周波数エイリアシングは、ImageNet-C や Meta-Dataset のような分布外ベンチマークにおいて、残差ネットワークの性能を低下させるか？
• RQ2 残差ネットワークはアンチエイリアシングフィルタを暗黙的に学習できるのか、それとも明示的なアーキテクチャ的介入が必要か？
• RQ3 アンチエイリアシングフィルタの配置は、特に空間的サポートが限られたパスウェイにおいて性能にどのように影響するか？
• RQ4 標準的な訓練レジームでは、ネットワークがアンチエイリアシングフィルタを学習するようにインcentivizedされているのか、それとも明示的なフィルタリングが必要か？
• RQ5 受容フィールドの変化や勾配ダイナミクスなどの混同要因とは分離して、アンチエイリアシングを分離できるか？

主な発見

• 提案手法により、アーキテクチャ的変更とデフォルトハイパーパramータのみを用いて、ImageNet-C のmCEが76.7%から70.0%に低下した。
• この手法により、ImageNet におけるクリーンなトップ-1誤差は21.2%にまで低下し、元のResNet-50ベースラインの23.9%を上回った。
• ぼかしフィルタと滑らかなGELU活性化関数を組み合わせることで、Meta-Dataset で平均3.75%の絶対的精度上昇が達成され、特にドメイン外タスクで2.73%の上昇を示した。
• スキップ接続、メインパス畳み込み、初期プーリングの3か所すべてにぼかしフィルタを配置した場合が、最も優れた性能を発揮した。
• 最初のストライド畳み込みを完全に削除（ストライド2をストライド1に置き換え）した場合、Meta-Dataset の精度が77.86%に向上し、ぼかしフィルタ単体よりも優れた結果を示した。これは、ダウンサンプリングによる情報損失が元に戻らないことを示唆している。
• この手法は、すべてのテスト設定で一貫して性能を向上させ、クリーンな精度を劣化させず、いかなる実験でも性能を低下させなかった。