[論文レビュー] Scale-Equalizing Pyramid Convolution for Object Detection

Xinjiang Wang, Shilong Zhang+3 more|arXiv (Cornell University)|May 6, 2020

Advanced Neural Network Applications参考文献 4被引用数 7

ひとこと要約

本稿では、物体検出における特徴マップの階層的レベル間のスケール相関を明示的にモデル化する3次元畳み込みモジュールであるScale-Equalizing Pyramid Convolution (SEPC) を提案する。空間的次元とスケール次元に合わせたカーネルストライドの適応により、計算コストを最小限に抑えつつ特徴表現を向上させ、COCOで4 AP以上の向上を達成し、ResNeXt-101とマルチスケール学習を用いることで50.1 APを達成した。

ABSTRACT

Feature pyramid has been an efficient method to extract features at different scales. Development over this method mainly focuses on aggregating contextual information at different levels while seldom touching the inter-level correlation in the feature pyramid. Early computer vision methods extracted scale-invariant features by locating the feature extrema in both spatial and scale dimension. Inspired by this, a convolution across the pyramid level is proposed in this study, which is termed pyramid convolution and is a modified 3-D convolution. Stacked pyramid convolutions directly extract 3-D (scale and spatial) features and outperforms other meticulously designed feature fusion modules. Based on the viewpoint of 3-D convolution, an integrated batch normalization that collects statistics from the whole feature pyramid is naturally inserted after the pyramid convolution. Furthermore, we also show that the naive pyramid convolution, together with the design of RetinaNet head, actually best applies for extracting features from a Gaussian pyramid, whose properties can hardly be satisfied by a feature pyramid. In order to alleviate this discrepancy, we build a scale-equalizing pyramid convolution (SEPC) that aligns the shared pyramid convolution kernel only at high-level feature maps. Being computationally efficient and compatible with the head design of most single-stage object detectors, the SEPC module brings significant performance improvement ($>4$AP increase on MS-COCO2017 dataset) in state-of-the-art one-stage object detectors, and a light version of SEPC also has $\sim3.5$AP gain with only around 7% inference time increase. The pyramid convolution also functions well as a stand-alone module in two-stage object detectors and is able to improve the performance by $\sim2$AP. The source code can be found at https://github.com/jshilong/SEPC.

研究の動機と目的

• 既存の特徴マップ統合手法において、スケール間相関が明示的にモデル化されていないという問題に対処すること。
• 特徴マップの階層レベル間における3次元（空間的およびスケール的）相互作用を捉えることで、1段階検出器における特徴表現を向上させること。
• 深層ネットワークが生成する実際の特徴マップの階層と、理想のガウス的マップの階層との間の不一致を是正すること。
• 計算コストを著しく増加させることなく、性能を向上させる軽量で互換性の高いモジュールを開発すること。
• 単一段階および二段階検出器の両方で有効性を示し、最小限の学習変更で最先端の結果を達成すること。

提案手法

• 特徴マップの階層における空間的およびスケール的次元にわたる3次元畳み込みを実行するピラミッド畳み込み（PConv）を提案し、各レベルの特徴マップの空間サイズに比例するカーネルストライドを採用する。
• スケールアップ時のストライドに合わせて空間的カーネルサイズを調整することで、異なるレベル間の特徴を整合させるスケール等価ピラミッド畳み込み（SEPC）を導入する。これにより、非ガウス的マップにおける不整合を低減する。
• すべてのピラミッドレベルにわたる統計を集約する統合バッチ正則化層を導入し、訓練の安定化と特徴品質の向上を実現する。
• PConvがRetinaNet風のアーキテクチャと本質的に互換性があることを利用し、ガウス的マップに最適であることが示された。
• 推論時間の増加が約7%にとどまる軽量なSEPCバージョン（SEPC-lite）を設計し、高い性能を維持する。
• PConvおよびSEPCを、単一段階検出器（例：RetinaNet、FCOS）および二段階検出器（例：Faster R-CNN、Mask R-CNN）にプラグインモジュールとして適用し、広範な互換性を実証した。

実験結果

リサーチクエスチョン

• RQ1 空間的およびスケール的次元にわたる明示的な3次元畳み込みが、従来の2次元統合手法と比較して、物体検出における特徴表現をどのように向上させるか？
• RQ2 ナチュラルなピラミッド畳み込みはなぜ深層ネットワークが生成する実際の特徴マップの階層では性能が低く、ガウス的マップとの乖離をどのように是正できるか？
• RQ3 SEPCのような3次元畳み込みモジュールが、計算コストをほとんど増加させずに、どの程度検出精度を向上させられるか？
• RQ4 ヘッドの設計（例：RetinaNet）がPConvとどのように相互作用するか。なぜガウス的マップに類似した特徴分布に対して特に適しているのか？
• RQ5 PConvおよびSEPCは、単一段階および二段階検出器の両方に対して効果的に適用可能か。どのような性能向上が達成できるか？

主な発見

• ResNeXt-101を用いたMS-COCO2017で、ベースラインのRetinaNetに対してSEPCは4.7 APの向上を達成し、単一スケールテストでも多くの二段階検出器を上回った。
• より広い学習スケール（480–960）を用いることで、SEPCはCOCOで50.1 APを達成し、単一スケールテストで最も高い報告結果を達成した単一段階検出器の一つとなった。
• SEPC-liteは推論時間の増加が約7%にとどまる中で3.5 APの向上を達成し、効率と精度のトレードオフの優れた性能を示した。
• PConv単体でも、Mask R-CNNで2.3 AP、Faster R-CNNで2.1 APの向上を達成し、二段階検出器への汎用性が顕著に示された。
• SEPCによる性能向上は、RetinaNet、FCOS、FSAF、Reppoints、FreeAnchorなど、多数の単一段階検出器で一貫して観察された。
• 本研究では、RetinaNetのヘッド設計がガウス的マップに最適であることが確認され、SEPCが実際の特徴マップの階層と理想のガウス的マップの階層の間のギャップを効果的に埋めることが示された。