[論文レビュー] An Improved Deep Learning Approach For Product Recognition on Racks in Retail Stores

Ankit Sinha, Soham Banerjee+1 more|arXiv (Cornell University)|Feb 26, 2022

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

本論文では、Faster R-CNNに特徴マップピラミッド（FPN）を組み合わせた高精度なオブジェクト局所化と、トリプレット損失を用いたResNet-18ベースのエンコーダーを用いた、軽量で2段階のディーパンラーニングパイプラインを提案する。このアプローチは、GP-180で47.77%のmAPおよび58.11%のmAPRを達成し、認識用に11Mパラメータ、検出用に42Mパラメータを用いることで、精度を凌駕する一方でエッジデバイスへの効率的で実用的なデプロイメントを可能にする。

ABSTRACT

Automated product recognition in retail stores is an important real-world application in the domain of Computer Vision and Pattern Recognition. In this paper, we consider the problem of automatically identifying the classes of the products placed on racks in retail stores from an image of the rack and information about the query/product images. We improve upon the existing approaches in terms of effectiveness and memory requirement by developing a two-stage object detection and recognition pipeline comprising of a Faster-RCNN-based object localizer that detects the object regions in the rack image and a ResNet-18-based image encoder that classifies the detected regions into the appropriate classes. Each of the models is fine-tuned using appropriate data sets for better prediction and data augmentation is performed on each query image to prepare an extensive gallery set for fine-tuning the ResNet-18-based product recognition model. This encoder is trained using a triplet loss function following the strategy of online-hard-negative-mining for improved prediction. The proposed models are lightweight and can be connected in an end-to-end manner during deployment for automatically identifying each product object placed in a rack image. Extensive experiments using Grozi-32k and GP-180 data sets verify the effectiveness of the proposed model.

研究の動機と目的

• 小売店のラックにおける自動製品認識のための、高精度で軽量かつデプロイ可能なソリューションの開発。
• 先行研究で用いられたテンプレートマッチングベースの検出法や重いモデルの限界を克服すること。
• Faster R-CNNにFPNを組み合わせたマルチスケール特徴を用いることで、局所化精度の向上。
• データ拡張とオンラインハードネガティブマイニングを用いたトリプレット損失による、製品認識のロバストネスの向上。
• 既存手法と同等またはそれ以上の性能を維持しつつ、メモリフットプリントの低減。

提案手法

• 2段階のパイプラインを採用：まず、Faster R-CNNに特徴マップピラミッド（FPN）を組み合わせたモデルが、ラック画像内の製品領域を局所化する。
• 一般化性能の向上を目的に、Grozi-32kおよびGP-180データセット上でデータ拡張を用いて微調整を行う。
• 検出された領域は、トリプレット損失とオンラインハードネガティブマイニングを用いて訓練されたResNet-18ベースの画像エンコーダーに供給され、埋め込み品質が向上する。
• クエリ画像から導出された拡張済みギャラリー集合を用いて、認識モデルを微調整し、実世界の変動を模擬する。
• エンドツーエンドの接続により、エッジデバイス上でリアルタイム推論が可能な形で2つのモデルを統合してデプロイする。
• GP-180およびGrozi-32kベンチマークを用いて、mAPおよびmAPRの指標で評価を行う。

実験結果

リサーチクエスチョン

• RQ1 2段階のディーパンラーニングパイプラインは、小売ラック画像における製品局所化および認識精度において、既存手法を上回ることができるか？
• RQ2 ResNet-18にトリプレット損失を適用した軽量モデルは、VGG-16のような重いモデルに比べて、はるかに少ないメモリ使用量で優れた認識性能を達成できるか？
• RQ3 Faster R-CNNにFPNを用いたマルチスケール特徴の活用は、特にごちゃついたまたは重なっている状況下で、YOLOベースのモデルに比べて局所化精度を向上させるか？
• RQ4 データ拡張とオンラインハードネガティブマイニングの併用は、外観の変動に起因する認識のロバストネスを顕著に向上させるか？
• RQ5 低パラメータ数と推論効率の高さのおかげで、提案されたパイプラインはエッジデバイスへの有効なデプロイメントが可能か？

主な発見

• 提案手法はGP-180データセットで47.77%のmAPおよび58.11%のmAPRを達成し、A-Ton-DL-pipelineを11.71ポイント上回るmAPを達成した。
• A-Ton-DL-pipelineに比べてmAPRでわずか0.30%劣るものの、認識用に11Mパラメータを用いる一方で、VGG-16ベースのモデルでは138Mパラメータを要した。
• Faster R-CNN-FPN検出器は42Mパラメータを有し、A-Ton-DL-pipelineで用いられたYOLOベースのモデル（62Mパラメータ）よりも顕著に少ない。
• テンプレートマッチングベースのアプローチに比べ、空欄領域の検出や重なっている、または見た目が似た製品の処理において優れた性能を示した。
• メモリ使用量が極めて効率的であるため、計算リソースが限られたエッジデバイスへのデプロイメントに適している。
• 制限事項として、装飾的なパッケージ周辺で誤検出が生じやすく、視覚的に類似したアイテムが密に積まれた場合の局所化精度が低いことが判明しており、これには訓練データの拡充が必要であると示唆された。