[論文レビュー] A Solution to Product detection in Densely Packed Scenes

Tianze Rong, Yanjia Zhu+2 more|arXiv (Cornell University)|Jul 23, 2020

Video Surveillance and Tracking Methods参考文献 11被引用数 5

ひとこと要約

本論文は、変更されたランダムクロップ戦略と最適化されたCascade R-CNNを用いて、密集したシーンにおける製品検出のための特化されたソリューションを提案し、SKU-110kデータセットで58.7%のmmAPを達成した。本アプローチは、小規模物体検出と高インスタンス密度に対処するため、強化されたデータオーグメンテーション、サンプラー再重み付け、NMSハイパーパramータチューニング、およびResNeXtとBFPネックといったアーキテクチャの改善を実施した。

ABSTRACT

This work is a solution to densely packed scenes dataset SKU-110k. Our work is modified from Cascade R-CNN. To solve the problem, we proposed a random crop strategy to ensure both the sampling rate and input scale is relatively sufficient as a contrast to the regular random crop. And we adopted some of trick and optimized the hyper-parameters. To grasp the essential feature of the densely packed scenes, we analysis the stages of a detector and investigate the bottleneck which limits the performance. As a result, our method obtains 58.7 mAP on test set of SKU-110k.

研究の動機と目的

• 実際の小売シーン（SKU-110kデータセットに含まれるような）における多数の小さな物体を検出する課題に対処すること。
• MS COCOのような低密度データセットを前提として最適化された標準的な物体検出パイプラインに起因する制限を克服すること。
• 1枚の画像あたり最大759個の物体を含むシーンにおける検出性能を向上させるために、データサンプリング、モデルサンプリング、推論ハイパーパramータの修正を実施すること。
• 密集した製品シーンにおける、COCOスタイルの[0.5:0.95:0.05]評価プロトコルにおける平均平均精度（mAP）の向上を図ること。

提案手法

• グランドトゥルースオブジェクトのカバレッジ向上とボックスクリッピングの低減を目的として、4隅、中央、短軸の両端の合計7つの固定領域からサンプリングする、変更された「ランダムセブンクロップ」戦略を採用した。
• RPNおよびR-CNNのサンプラーを最適化し、それぞれの正例サンプル数の上限を512および3072に引き上げることで、1枚あたりの高密度オブジェクト処理を改善した。
• 直交設計を用いたグリッドサーチによりNMSハイパーパramータをチューニングし、最適な値（入力/出力ボックス数3000、信頼度閾値0.05、正例のIoU閾値0.7、最大出力ボックス数400）を選定した。
• 3段階のCascade R-CNNを採用し、各段階でボクセルのIoU閾値を（0.5、0.5–0.6、0.5–0.6–0.7）として設定することで、局所化精度の向上と誤検出の低減を実現した。
• ResNet-50バックボーンをResNeXt-101に、FPNネックをBFPに置き換えることで、特徴表現力とマルチスケール特徴の統合を向上させた。
• 大容量の入力サイズ（最大3000×1800）と24エポックの延長トレーニングを採用し、小規模物体検出を向上させるとともに、高解像度入力を維持してオブジェクトの詳細を保持した。

実験結果

リサーチクエスチョン

• RQ1 小売シーンにおける密集したオブジェクトの十分で代表的なサンプリングを確保するため、データオーグメンテーション戦略をどのように改善できるか？
• RQ2 標準的なCOCO設定を超えて、1枚あたり150個以上のオブジェクトを含む画像処理に耐えるために、RPNおよびR-CNNのサンプラーに必要なハイパーパramータ調整は何か？
• RQ3 NMSハイパーパramータチューニングは、重複度が高く誤検出率の高い密集検出シナリオにおいて、mAPの向上にどの程度寄与するか？
• RQ4 複数のIoU閾値ヘッドを備えたCascade R-CNNの使用は、密集したシーンにおける局所化精度の向上と誤検出の低減にどのように寄与するか？
• RQ5 ResNeXtやBFPネックといったアーキテクチャ的要素は、高密度製品検出における性能にどのような影響を与えるか？

主な発見

• ResNet-50とFPNを搭載したベースラインFaster R-CNNは50.6%のmmAPを達成し、SKU-110kにおける特化した最適化の必要性を示した。
• NMSハイパーパラメータの最適化のみでmAPが52.8%に向上した。これは、推論設定が性能に顕著に影響することを示している。
• RPNおよびR-CNNのサンプラーを正例数の上限を高く設定することで、mAPは54.0%に上昇した。これは、標準的なCOCOベースのデフォルト値が密集したシーンには不十分であることを示している。
• 「ランダムセブンクロップ」と大容量入力（3000×1800）および24エポックのトレーニングを組み合わせた手法により、57.4%のmmAPを達成し、標準的なランダムクロップと短いトレーニングに比べて優れた性能を示した。
• Cascade R-CNN、ResNeXt-101、BFPネック、最適化されたハイパーパラメータを備えた完全なパイプラインは、検証セットで58.0%、テストセットで58.7%のmmAPを達成し、本研究で最高の結果を記録した。
• 最終モデルはテストセットで58.7%のmmAPを達成し、密集した製品検出における統合手法の有効性を実証した。