[論文レビュー] Selective Kernel Networks

Xiang Li, Wenhai Wang+2 more|arXiv (Cornell University)|Mar 15, 2019

Advanced Neural Network Applications参考文献 54被引用数 95

ひとこと要約

Selective Kernel Networks (SKNets) は、CNN においてカーネルサイズを動的に選択するアテンション誘導型機構を導入し、ImageNetとCIFARで従来のアーキテクチャと同程度の複雑さで物体認識を改善する。

ABSTRACT

In standard Convolutional Neural Networks (CNNs), the receptive fields of artificial neurons in each layer are designed to share the same size. It is well-known in the neuroscience community that the receptive field size of visual cortical neurons are modulated by the stimulus, which has been rarely considered in constructing CNNs. We propose a dynamic selection mechanism in CNNs that allows each neuron to adaptively adjust its receptive field size based on multiple scales of input information. A building block called Selective Kernel (SK) unit is designed, in which multiple branches with different kernel sizes are fused using softmax attention that is guided by the information in these branches. Different attentions on these branches yield different sizes of the effective receptive fields of neurons in the fusion layer. Multiple SK units are stacked to a deep network termed Selective Kernel Networks (SKNets). On the ImageNet and CIFAR benchmarks, we empirically show that SKNet outperforms the existing state-of-the-art architectures with lower model complexity. Detailed analyses show that the neurons in SKNet can capture target objects with different scales, which verifies the capability of neurons for adaptively adjusting their receptive field sizes according to the input. The code and models are available at https://github.com/implus/SKNet.

研究の動機と目的

• 入力刺激に応答して受容野サイズを動的に適応させることで、CNN のマルチスケール特徴抽出の改善を動機付ける。
• 注意誘導融合によって複数のカーネルを組み合わせる軽量な Selective Kernel (SK) 畳み込みを提案する。
• SKNet が ImageNet および CIFAR で、従来の最先端モデルと同程度以下の複雑さで優れた精度を達成することを示す。
• アブレーションによって、異なるカーネル構成とアテンション機構が性能にどのように影響するかを示す。
• 選択機構が層やカテゴリを横断してカーネルサイズをどのように適応させるかの分析を提供する。

提案手法

• Split（異なるサイズの複数のカーネル経路を生成）、Fuse（ブランチ情報を統合しチャネルごとの統計を生成）、Select（ソフトアテンションを用いてブランチに重みを付ける）の3つの操作を持つ Selective Kernel (SK) 畳み込みを導入する。
• ResNeXt風のボディーの伝統的な大カーネルブロックを SK 畳み込みに置換して SK ユニットを得る。
• Fuse ステージのボトルネックを制御する縮小比 r と、d= max(C/r, L) の縮減次元の上限 L を用いる。
• SK ブランチ内でグループ畳み込み/深さ方向畳み込み/拡張畳み込みを適用し、コストを抑えつつマルチスケール情報収集を可能にする。
• SK ユニットを SKNet アーキテクチャ（例: SKNet-50, SKNet-101）に積み上げ、経路 M、グループ G、縮小比 r を構成可能とする。
• ImageNet、CIFAR-10/100、および軽量モデルで評価し、性能とパラメータ効率の利点を示す。

実験結果

リサーチクエスチョン

• RQ1 単一の層内でカーネルサイズを適応選択することは、固定のマルチブランチまたは単一ブランチの畳込みと比較して認識精度を向上させるか。
• RQ2 対象物のスケールが変化し、ネットワークの深さが異なる場合、SK アテンション機構はカーネルサイズ間でどのように注意を割り当てるか。
• RQ3 SK 畳み込みは ResNeXt/SENet のバックボーンと比較して、同程度以下のパラメータ数と FLOPs で精度向上を提供できるか。
• RQ4 さまざまなアーキテクチャとデータセットに対して最適な SK ハイパーパラメータ（M、G、r）は何か。
• RQ5 CIFAR のようなコンパクトなモデルや小規模データセットで、SK nets は性能を維持または改善するか。

主な発見

• SKNet-50 は ResNeXt-50 と比較して同程度の複雑さで Top-1 精度を向上させ、適応的カーネル選択の利点を示す。
• SKNet アーキテクチャは、ImageNet で同程度の予算に対して他のアテンションベースCNNと比較して最先手の性能を達成する。
• アブレーション研究は、SK アテンションを用いた複数カーネルの使用がブランチを単純に合計するより誤差を低減し、パス数を増やすことは一般に有効だが M=2 または M=3 を超えると利得が逓減することを示す。
• ブランチ間のソフトなアテンション機構は、入力スケールに応答する適応的な受容野サイズを可能にし、特に下層/中間層で顕著である。
• SK 畳み込みは小規模モデルの性能を向上させ（例: ShuffleNetV2 系）、コンパクトなアーキテクチャで有効である。
• CIFAR-10/100 の結果は、ResNeXt/SENet のベースラインと比較してパラメータが少ないにもかかわらず、SKNet-29 が競争力のあるまたはより良い精度を達成することを示す。