[論文レビュー] SpineNet: Learning Scale-Permuted Backbone for Recognition and Localization

Xianzhi Du, Tsung-Yi Lin+6 more|arXiv (Cornell University)|Dec 10, 2019

Advanced Neural Network Applications参考文献 48被引用数 21

ひとこと要約

SpineNetは、オブジェクト検出および認識のためのニューラルアーキテクチャサーチを用いて発見された、学習可能なスケール間接続を備えたスケール・パーミュテッドバックボーンアーキテクチャを提案する。テスト時増強なしでCOCOで52.1% APを達成し、FLOPsが10–20%少ないにもかかわらずResNet-FPNを約3%上回り、特に困難なiNaturalistの細分化認識データセットではトップ-1精度を5%向上させる。

ABSTRACT

Convolutional neural networks typically encode an input image into a series of intermediate features with decreasing resolutions. While this structure is suited to classification tasks, it does not perform well for tasks requiring simultaneous recognition and localization (e.g., object detection). The encoder-decoder architectures are proposed to resolve this by applying a decoder network onto a backbone model designed for classification tasks. In this paper, we argue encoder-decoder architecture is ineffective in generating strong multi-scale features because of the scale-decreased backbone. We propose SpineNet, a backbone with scale-permuted intermediate features and cross-scale connections that is learned on an object detection task by Neural Architecture Search. Using similar building blocks, SpineNet models outperform ResNet-FPN models by ~3% AP at various scales while using 10-20% fewer FLOPs. In particular, SpineNet-190 achieves 52.5% AP with a MaskR-CNN detector and achieves 52.1% AP with a RetinaNet detector on COCO for a single model without test-time augmentation, significantly outperforms prior art of detectors. SpineNet can transfer to classification tasks, achieving 5% top-1 accuracy improvement on a challenging iNaturalist fine-grained dataset. Code is at: https://github.com/tensorflow/tpu/tree/master/models/official/detection.

研究の動機と目的

• オブジェクト検出のようなマルチスケール認識および局所化タスクにおけるスケール減少型バックボーンの限界を解決すること。
• スケール間の空間情報を保持することで、小さなオブジェクトおよび細分化認識のための特徴表現を向上させること。
• スケール間の学習可能な接続を通じて、効果的なマルチスケール特徴統合を可能にするバックボーンアーキテクチャを設計すること。
• 1つのアーキテクチャが検出および分類タスクの両方で既存のバックボーンを上回ることを示すこと。
• ニューラルアーキテクチャサーチが、マルチスケール視覚タスクに適した効率的で高性能なバックボーンを発見する可能性を探ること。

提案手法

• 中間特徴マップの解像度が単調に減少しないスケール・パーミュテッドメタアーキテクチャを提案し、ネットワークの深さに応じてスケールの動的変化を可能にする。
• 異なる解像度レベル間の特徴統合を可能にするスケール間接続を導入し、マルチスケール表現を強化する。
• 検索空間をResNetボトルネックブロックで定義し、各ブロックのブロック順序と入力接続を同時に最適化するためのニューラルアーキテクチャサーチ（NAS）を用いる。
• デコーダーネットワークを別途必要としないよう、RetinaNetを用いてCOCOオブジェクト検出タスクに直接バックボーンを訓練する。
• ブロックタイプとスケールの調整を可能にする検索空間の変更を適用し、性能を損なわず効率性を向上させる。
• スイッチ活性化、確率的深さ、ラベルスムージングを用いた改善されたトレーニングプロトコルを用いて、学習されたSpineNetアーキテクチャを画像分類タスクに転移する。

実験結果

リサーチクエスチョン

• RQ1 スケール・パーミュテッドバックボーンアーキテクチャは、従来のスケール減少型バックボーンを上回ることができるか？
• RQ2 NASを用いてスケール間接続を学習することで、認識および局所化のためのマルチスケール特徴表現が向上するか？
• RQ3 1つのSpineNetアーキテクチャが、検出および分類タスクの両方で最先端の性能を達成できるか？
• RQ4 iNaturalist-2017のような細分化分類ベンチマークにおいて、SpineNetはResNetに比べてどの程度の性能を示すか？
• RQ5 検出および分類における性能向上は、より優れた特徴表現によるものか、それともアーキテクチャの効率性によるものか、その程度はいかほどか？

主な発見

• SpineNet-190は、Mask R-CNNを用いてCOCOで52.5% AP、RetinaNetを用いて52.1% APを達成し、テスト時増強なしで顕著に先行研究を上回る。
• SpineNet-49Sは33.8B FLOPsで39.5% APを達成し、R50-FPN（96.8B FLOPsで40.4% AP）を上回る。
• SpineNet-49XSはわずか0.17B FLOPsで17.5% APを達成し、モバイル検出タスクにおいてMobileNetV2およびMobileNetV3を上回る。
• iNaturalist-2017では、SpineNet-49がiNaturalist-bboxで63.9% Top-1精度を達成し、ResNet-50の4.3%上回る。
• SpineNet-49はiNaturalist-2017でResNet-50に比べてトップ-1精度を5%向上させ、より優れた局所特徴の捉え方とコンact表現に起因する。
• 改善されたトレーニングプロトコルを用いることで、SpineNetはImageNetで1%のTop-1向上、iNaturalist-2017で3–4%の向上を達成する。