[論文レビュー] An Analysis of Scale Invariance in Object Detection - SNIP

Bharat Singh, Larry S. Davis|arXiv (Cornell University)|Nov 22, 2017

Advanced Neural Network Applications参考文献 34被引用数 14

ひとこと要約

この論文では、画像ピラミッド内のオブジェクトスケールに基づいて勾配を選択的に逆伝播する新しいトレーニング方式SNIP（Scale Normalization for Image Pyramids）を提案する。この手法により、オブジェクト検出におけるスケール不変性が向上する。ImageNetの事前学習モデルのスケール分布に合わせてトレーニングを行うことで、SNIPはCOCOで1モデルで45.7% mAP、アンサンブルで48.3% mAPという最先端の性能を達成し、ボクシングボックスの監視のみとオフザシェルのImageNet事前学習を用いている。

ABSTRACT

An analysis of different techniques for recognizing and detecting objects under extreme scale variation is presented. Scale specific and scale invariant design of detectors are compared by training them with different configurations of input data. By evaluating the performance of different network architectures for classifying small objects on ImageNet, we show that CNNs are not robust to changes in scale. Based on this analysis, we propose to train and test detectors on the same scales of an image-pyramid. Since small and large objects are difficult to recognize at smaller and larger scales respectively, we present a novel training scheme called Scale Normalization for Image Pyramids (SNIP) which selectively back-propagates the gradients of object instances of different sizes as a function of the image scale. On the COCO dataset, our single model performance is 45.7% and an ensemble of 3 networks obtains an mAP of 48.3%. We use off-the-shelf ImageNet-1000 pre-trained models and only train with bounding box supervision. Our submission won the Best Student Entry in the COCO 2017 challenge. Code will be made available at \url{http://bit.ly/2yXVg4c}.

研究の動機と目的

• 深層学習の進展にもかかわらず、オブジェクト検出の性能が画像分類に比べて著しく劣る理由を調査すること。
• 特に小さなオブジェクトに対して、CNNベースのオブジェクト検出器に及ぼす極端なスケール変動の影響を分析すること。
• スケール分布が著しく異なる検出データセットに、ImageNetで事前学習されたモデルを微調整することによって生じるドメインシフトを解消すること。
• トレーニングサンプルの多様性を減らさずに、スケール不変性を向上させるトレーニング方式を開発すること。
• 事前学習済みImageNetモデルを、スケール分布を合わせることで、小さなオブジェクト検出に効果的に活用できるようにすること。

提案手法

• SNIPは、入力画像の異なる解像度に対応する複数スケールの画像ピラミッド上で検出器をトレーニングする。
• この手法では、事前学習済みImageNetモデルのスケールに近いスケールを持つ領域提案（RoIs）にのみ、勾配を逆伝播する。
• このスケールの一致により、事前学習済み分類ネットワークと検出用微調整段階との間のドメインシフトが最小限に抑えられる。
• SNIPは画像ピラミッドの各スケールに対して独立して動作するため、すべてのスケールにおけるオブジェクトインスタンスを完全に活用できる。
• アーキテクチャの変更が不要で、ボクシングボックスの追加監視以外に依存せず、Faster R-CNN や R-FCN などのさまざまな検出フレームワークに適用可能である。
• 変形可能畳み込みや Soft-NMS などの既存のパイプラインとも互換性がある。

実験結果

リサーチクエスチョン

• RQ1 同じネットワークアーキテクチャを用いても、なぜオブジェクト検出の性能は画像分類に比べて著しく低いままなのか？
• RQ2 COCOのようなデータセットにおける極端なスケール変動が、CNNのオブジェクト検出におけるロバストネスにどのように影響するのか？
• RQ3 スケール分布の不一致により、検出データに事前学習済みImageNet分類器を微調整すると、性能がどの程度劣化するのか？
• RQ4 各スケールあたりのトレーニングサンプル数を減らさずに、スケール不変性を向上させるトレーニング方式を設計可能か？
• RQ5 スケールに基づいた勾配の選択的逆伝播は、特に小さなオブジェクトに対して検出性能を向上させるのか？

主な発見

• SNIPはCOCO test-devで1モデルで45.7% mAPを達成し、最良の1モデルベースラインより全体で2.5%、小さなオブジェクトでは3.9%優れている。
• SNIPを用いた3つのネットワークのアンサンブルは、mAPが48.3%に達し、COCO 2017チャレンジにおける新たな最先端性能を樹立した。
• SNIPは、小さなオブジェクト（≤25ピクセル）のリCALLを6.3%、すべてのオブジェクトでは50% IoUで2.9%向上させ、困難なケースにおいて顕著な向上を示した。
• RPNおよびRCNヘッドからSNIPを除去すると、DPN-98バックボーンを用いた場合にmAPが3.5%低下し、SNIPの性能への重要性を裏付けた。
• SNIPは、特徴ピラミッドを用いない1スケールのRPNおよびRCNヘッドでも強力な性能を発揮し、Faster R-CNNに変形可能畳み込みを組み合わせた場合でも44.4% mAPを達成した。
• SNIPはさまざまなバックボーンアーキテクチャに有効であり、DPN-98およびDPN-92をSNIPと組み合わせることで、性能が向上した。