[論文レビュー] Dead Pixel Test Using Effective Receptive Field

Bum Jun Kim, Hyeyeon Choi+4 more|arXiv (Cornell University)|Aug 31, 2021

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）における有効受容 field（ERF）を調査し、理論的な受容 field が大きくても性能が優れるとは限らないことを明らかにした。奇数サイズのカーネルとストライド2によるアーキテクチャの不均衡によって生じる、出力にほとんど寄与しない空間的位置（「デッドピクセル」）を同定し、ピクセル感度の不均衡を軽減するためのカーネルパディングを提案した。主な発見は、この不均衡が一般分類性能を向上させる一方で、小さな画像摂動の検出を困難にすることであり、微細な感度が求められるタスクではカーネルパディングが不可欠であるということである。

ABSTRACT

Deep neural networks have been used in various fields, but their internal behavior is not well known. In this study, we discuss two counterintuitive behaviors of convolutional neural networks (CNNs). First, we evaluated the size of the receptive field. Previous studies have attempted to increase or control the size of the receptive field. However, we observed that the size of the receptive field does not describe the classification accuracy. The size of the receptive field would be inappropriate for representing superiority in performance because it reflects only depth or kernel size and does not reflect other factors such as width or cardinality. Second, using the effective receptive field, we examined the pixels contributing to the output. Intuitively, each pixel is expected to equally contribute to the final output. However, we found that there exist pixels in a partially dead state with little contribution to the output. We reveal that the reason for this lies in the architecture of CNN and discuss solutions to reduce the phenomenon. Interestingly, for general classification tasks, the existence of dead pixels improves the training of CNNs. However, in a task that captures small perturbation, dead pixels degrade the performance. Therefore, the existence of these dead pixels should be understood and considered in practical applications of CNN.

研究の動機と目的

• 理論的な受容 field が広いほど CNN の性能が向上すると仮定することを挑戦すること。
• 理論的な受容 field 内にあっても、出力にほとんど寄与しないピクセルが存在する理由を調査すること。
• ResNet などの現代的な CNN におけるピクセル感度の不均衡のアーキテクチャ的要因を同定すること。
• ピクセル感度の不均衡が、小さな画像摂動を検出する必要があるタスクに与える影響を評価すること。
• カーネルパディングを提案し、感度の不均衡を軽減し、微細なビジョンタスクでの性能を向上させることを検証すること。

提案手法

• 最終特徴マップから入力画像への勾配バックプロパゲーションを用いて有効受容 field（ERF）を計算し、チャネル平均をとることで空間的寄与を分離する。
• ERF は 2次元のガウス分布として可視化され、入力ピクセルが出力に与える影響が空間的に非一様であることが明らかになった。
• ピクセル感度の不均衡は、入力ピクセル間での勾配の大きさの分散を測定することで定量化され、分散が大きいほど不均衡が強いことを示す。
• カーネルパディングは、特徴の空間的マッピングを変更することで、隣接ピクセル間の寄与差を低減することを目的として導入された。
• 微細な摂動を検出できるように、ランダムに配置された 8×8 の黒または赤のパッチを含むマイクロオブジェクト分類タスクを設計した。
• ResNet-101、Wide-ResNet-101-2、ResNeXt-101-32x8d において、カーネルパディング有りと無しのモデルを比較し、訓練曲線と収束速度（90％の精度に到達するまでのエポック数）を測定した。

Figure 1: Effective receptive fields were obtained for ResNeXt-101-32x8d. (Left) Effective receptive field of the $7\times 7$ feature map. (Middle) Effective receptive field of the $14\times 14$ feature map. (Right) Effective receptive field of the output. The top row is the effective receptive fiel

実験結果

リサーチクエスチョン

• RQ1 理論的な受容 field のサイズは、現代の CNN において分類精度と相関するか？
• RQ2 理論的な受容 field 内にあっても、空間的に近接しているにもかかわらず、出力に顕著に寄与しないピクセルが存在するのはなぜか？
• RQ3 奇数サイズのカーネルとストライド2を用いる CNN において、ピクセル感度の不均衡を引き起こすアーキテクチャ的要因は何か？
• RQ4 小さな画像摂動の検出を必要とするタスクにおいて、ピクセル感度の不均衡は有益か、有害か？
• RQ5 カーネルパディングは、ピクセル感度の不均衡を効果的に低減でき、微細な分類タスクにおける収束速度を向上させることができるか？

主な発見

• 理論的な受容 field のサイズと分類精度には相関がなく、ネットワークの深さが増しても有効受容 field が必然的に大きくなるわけではない。
• ネットワークの深さが増しても、有効受容 field は特定のサイズで飽和し、深さを増すだけでは利得が小さくなることが示された。
• ResNet においてもピクセル感度の不均衡が存在し、奇数サイズのカーネルとストライド2の組み合わせにより、隣接ピクセル間で出力への寄与が顕著に異なることが明らかになった。
• カーネルパディングによりピクセル感度の不均衡が軽減され、マイクロオブジェクト分類タスクにおいて収束までの期間が13～18エポック短縮された。
• カーネルパディングを施したモデルは、小さな摂動の差を捉える際、99％を超えるテスト精度を達成したが、ベースラインモデルははるかに多くのエポックを要した。
• マイクロオブジェクト分類タスクにおいて、カーネルパディングは、位置や大きさがランダムに変化する摂動の差を、より高速かつ信頼性高く検出可能にした。

Figure 2: When an odd-sized kernel is applied with stride 2, a checkboard pattern appears.