[論文レビュー] No More Strided Convolutions or Pooling: A New CNN Building Block for Low-Resolution Images and Small Objects

Raja Sunkara, Tie Luo|arXiv (Cornell University)|Aug 7, 2022

Advanced Neural Network Applications被引用数 46

ひとこと要約

SPD-Conv はストライド畳み込みとプーリングを空間→深さのダウンサンプリングの後にノンストライド畳み込みを適用することで置換し、低解像度画像と小さな物体に対する性能を向上させる。YOLOv5 および ResNet 系の派生へ適用され、オープンソースコードが利用可能。

ABSTRACT

Convolutional neural networks (CNNs) have made resounding success in many computer vision tasks such as image classification and object detection. However, their performance degrades rapidly on tougher tasks where images are of low resolution or objects are small. In this paper, we point out that this roots in a defective yet common design in existing CNN architectures, namely the use of strided convolution and/or pooling layers, which results in a loss of fine-grained information and learning of less effective feature representations. To this end, we propose a new CNN building block called SPD-Conv in place of each strided convolution layer and each pooling layer (thus eliminates them altogether). SPD-Conv is comprised of a space-to-depth (SPD) layer followed by a non-strided convolution (Conv) layer, and can be applied in most if not all CNN architectures. We explain this new design under two most representative computer vision tasks: object detection and image classification. We then create new CNN architectures by applying SPD-Conv to YOLOv5 and ResNet, and empirically show that our approach significantly outperforms state-of-the-art deep learning models, especially on tougher tasks with low-resolution images and small objects. We have open-sourced our code at https://github.com/LabSAINT/SPD-Conv.

研究の動機と目的

• 従来の CNN がストライドダウンサンプリングとプーリングにより低解像度画像や小さな物体で性能が制限される点を特定する。
• SPD-Conv をストライド畳み込みとプーリングを置換する普遍的なビルディングブロックとして提案する。
• SPD-Conv の物体検出と画像分類タスクでの有効性を示す。
• SPD-Conv を人気のあるフレームワークに統合でき、再現性のためのオープンソースコードを提供する。

提案手法

• SPD-Conv を導入する：スペース→ディープ (SPD) レイヤーに続いてノンストライド畳み込みを適用。
• SPD は空間データをチャネル次元へ再配置することで情報を保持しつつ特徴マップをダウンサンプリングする。
• SPD の後にノンストライド畳み込みを適用してチャネル次元を削減し、識別可能な特徴を学習する。
• 既存アーキテクチャ（例：YOLOv5、ResNet）におけるすべてのストライド畳み込みとプーリング層を SPD-Conv に置換する。
• ナノ、スモール、ミディアム、ラージの SPD-エンパワードモデルを作成するためのスケーリング戦略（幅と深さ）を提供する。

実験結果

リサーチクエスチョン

• RQ1 SPD-Conv は従来のストライドダウンサンプリングと比較して、ダウンサンプリング時に識別情報を保持するか。
• RQ2 SPD-Conv は小さな物体や低解像度画像に対する下流タスク（物体検出や画像分類）で性能を改善できるか。
• RQ3 SPD-Conv を既存アーキテクチャ（例：YOLOv5、ResNet）に統合し、モデルサイズにわたってスケールさせる方法は。
• RQ4 SPD-Conv は一般的な深層学習フレームワーク（PyTorch、TensorFlow）およびトレーニングパイプラインへ容易に適用できるか。

主な発見

• SPD-Conv はストライド畳み込みとプーリングを置換し、学習可能な情報を失うことなく特徴マップをダウンサンプリングする。
• SPD-Conv を YOLOv5-SPD および ResNet-SPD に適用すると、特に小さな物体や低解像度画像で性能が向上する。
• COCO val2017 で nano YOLOv5-SPD-n は AP_S がランナーアップより最大13.15ポイント改善。
• COCO val2017 で small モデルは SPD-Conv を跨る変種で顕著な AP および AP_S の向上を示す（例：YOLOv5-SPD-s および m）。
• COCO test-dev2017 では SPD-Conv モデルが nano/小型/大型カテゴリすべてで AP_S のリーダーを維持し、転移学習ベースラインと比較して競争力のある AP を示す。
• 画像分類（Tiny ImageNet および CIFAR-10）では ResNet18-SPD および ResNet50-SPD がベースラインを上回り、それぞれのデータセットでトップ1 精度が向上する。