[論文レビュー] Making Convolutional Networks Shift-Invariant Again

Richard Zhang|arXiv (Cornell University)|Apr 25, 2019

Graph Theory and Algorithms被引用数 376

ひとこと要約

この論文は、CNNをシフト不変性にするためのブラーを用いたダウンサンプリング（MaxBlurPool/MaxBlurDown）を導入し、特徴マップを滑らかにし、空間シフトに対する感度を低減し、シフトベースの敵対的攻撃に対する頑健性を改善する。

ABSTRACT

Modern convolutional networks are not shift-invariant, as small input shifts or translations can cause drastic changes in the output. Commonly used downsampling methods, such as max-pooling, strided-convolution, and average-pooling, ignore the sampling theorem. The well-known signal processing fix is anti-aliasing by low-pass filtering before downsampling. However, simply inserting this module into deep networks degrades performance; as a result, it is seldomly used today. We show that when integrated correctly, it is compatible with existing architectural components, such as max-pooling and strided-convolution. We observe extit{increased accuracy} in ImageNet classification, across several commonly-used architectures, such as ResNet, DenseNet, and MobileNet, indicating effective regularization. Furthermore, we observe extit{better generalization}, in terms of stability and robustness to input corruptions. Our results demonstrate that this classical signal processing technique has been undeservingly overlooked in modern deep networks. Code and anti-aliased versions of popular networks are available at https://richzhang.github.io/antialiased-cnns/ .

研究の動機と目的

• 畳み込みネットワークにおけるシフト不変性の必要性を動機づけ、標準的プーリングの制限を識別する。
• ブラーを用いたダウンサンプリング層が学習された畳み込みフィルタに与える影響を分析する。
• MaxBlurPool/MaxBlurDown アプローチを、さまざまなブラーカーネルで提案・評価する。
• 空間シフトによる性能低下と敵対的頑健性への影響を評価する。

提案手法

• 特徴マップをより滑らかにすることを促すため、Max-blur ベースのダウンサンプリングを導入する。
• プーリング/ダウンサンプリングの前に、Binomial-like ブラー・カーネルを用い、異なるサイズ（例：Bin-4, Bin-5, Bin-7）を使用する。
• 層間で正規化された Total Variation (TV) を用いてフィルタの滑らかさを定量化する。
• 空間的シフト下での分類精度とデータ拡張の有無を評価する。
• シフトを伴う入力ウィンドウを横断して性能を測定することで、シフトベースの敵対者に対する頑健性を検証する。

実験結果

リサーチクエスチョン

• RQ1 提案されたブラー-based ダウンサンプリングを使用すると、学習された畳み込みフィルタはどのように変化するか？
• RQ2 この層で訓練すると、特徴抽出器が滑らかになり、空間シフトに対する感度が低減するか？
• RQ3 基準プーリングと比較して、空間シフトの関数として精度はどのように低下するか？
• RQ4 この手法はシフトベースの敵対的攻撃に対する頑健性を改善するか？

主な発見

• MaxBlurPool/Down は、基準の MaxPool よりも滑らかな学習フィルタ（総変動が小さい）を誘発する。
• より強いブラー・フィルター（例：Bin-7）を使用すると、空間シフトに対する分類精度の劣化が少なくなる。
• シフト間での出力クラス確率の変動は、ブラーサイズが大きいほど低下し、入力位置への感度を減らす。
• より強いブラー処理は、シフトベースの敵対者に対する頑健性を高め、時には拡張ベースを上回ることもある。
• 結果は、ブラー-based downsampling が精度を維持しつつ、シフト不変性と頑健性を向上させることを裏付ける。