[논문 리뷰] An Improved Deep Learning Approach For Product Recognition on Racks in Retail Stores

Ankit Sinha, Soham Banerjee외 1명|arXiv (Cornell University)|2022. 02. 26.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

이 논문은 레트로 랙에서의 자동 제품 인식을 위한 경량이며 이단계적인 딥러닝 파이프라인을 제안한다. 객체 정위를 위해 Faster R-CNN에 피처 피라미드 네트워크(FPN)를 사용하고, 강건한 분류를 위해 ResNet-18 기반 인코더와 트리플릿 손실을 사용한다. 이 방법은 GP-180에서 47.77% mAP와 58.11% mAPR를 달성하여 이전 방법들보다 정확도가 뛰어나며, 인식에 11M 파rameter, 검출에 42M 파rameter만을 사용하여 엣지 장치에 효율적으로 구현 가능하다.

ABSTRACT

Automated product recognition in retail stores is an important real-world application in the domain of Computer Vision and Pattern Recognition. In this paper, we consider the problem of automatically identifying the classes of the products placed on racks in retail stores from an image of the rack and information about the query/product images. We improve upon the existing approaches in terms of effectiveness and memory requirement by developing a two-stage object detection and recognition pipeline comprising of a Faster-RCNN-based object localizer that detects the object regions in the rack image and a ResNet-18-based image encoder that classifies the detected regions into the appropriate classes. Each of the models is fine-tuned using appropriate data sets for better prediction and data augmentation is performed on each query image to prepare an extensive gallery set for fine-tuning the ResNet-18-based product recognition model. This encoder is trained using a triplet loss function following the strategy of online-hard-negative-mining for improved prediction. The proposed models are lightweight and can be connected in an end-to-end manner during deployment for automatically identifying each product object placed in a rack image. Extensive experiments using Grozi-32k and GP-180 data sets verify the effectiveness of the proposed model.

연구 동기 및 목표

• 소매점 랙에서의 자동 제품 인식을 위한 정확하고 경량적이며 구현 가능한 솔루션을 개발하기 위해.
• 이전 연구에서 사용된 템플릿 매칭 기반 검출 및 무거운 모델의 한계를 극복하기 위해.
• Faster R-CNN에 FPN를 적용하여 다중 척도 특징을 활용해 정위 정확도를 향상시키기 위해.
• 데이터 증강과 온라인 하드 음성 마이닝을 통한 트리플릿 손실을 통해 제품 인식의 강건성을 향상시키기 위해.
• 기존 방법들보다 성능을 유지하거나 향상시키면서도 메모리 사용량을 줄이기 위해.

제안 방법

• 이중 단계 파이프라인을 사용한다: 먼저 Faster R-CNN에 피처 피라미드 네트워크(FPN)를 적용하여 랙 이미지 내 제품 영역을 정위한다.
• 일반화 능력을 향상시키기 위해 데이터 증강을 사용하여 Grozi-32k 및 GP-180 데이터셋에서 모델을 토닝한다.
• 검출된 영역는 트리플릿 손실과 온라인 하드 음성 마이닝을 통해 향상된 임bedding 품질을 확보하기 위해 ResNet-18 기반 이미지 인코더에 입력된다.
• 실제 환경의 변형을 시뮬레이션하기 위해 쿼리 이미지에서 파생된 증강된 갤러리 세트를 사용하여 인식 모델을 토닝한다.
• 두 모델을 엔드 투 엔드 방식으로 연결하여 엣지 장치에서 실시간 추론이 가능하도록 구현한다.
• GP-180 및 Grozi-32k 벤치마크에서 mAP와 mAPR 지표를 사용해 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 이단계 딥러닝 파이프라인은 소매 랙 이미지에서의 제품 정위 및 인식 정확도에서 기존 방법들을 능가할 수 있는가?
• RQ2 ResNet-18과 트리플릿 손실을 사용한 경량 모델이 VGG-16과 같은 무거운 모델보다 메모리 사용량을 크게 줄이며 더 나은 인식 성능을 달성할 수 있는가?
• RQ3 Faster R-CNN에 FPN를 적용하여 다중 척도 특징을 활용하면, 특히 혼잡하거나 겹치는 상황에서 YOLO 기반 모델 대비 정위 정확도가 향상되는가?
• RQ4 데이터 증강과 온라인 하드 음성 마이닝을 통해 외관 변화 상황에서 인식의 강건성이 크게 향상되는가?
• RQ5 낮은 파rameter 수와 추론 효율성 덕분에 제안된 파이프라인이 엣지 장치에 효과적으로 구현될 수 있는가?

주요 결과

• 제안된 방법은 GP-180 데이터셋에서 47.77% mAP와 58.11% mAPR를 달성하여 A-Ton-DL-pipeline보다 mAP에서 11.71% 포인트 높은 성능을 보였다.
• A-Ton-DL-pipeline에 비해 mAPR에서 0.30% 뿐이지만, 인식에 사용된 파rameter 수는 11M로 VGG-16 기반 모델의 138M에 비해 극적으로 줄었다.
• Faster R-CNN-FPN 검출기는 42M 파rameter를 사용하여 A-Ton-DL-pipeline에서 사용된 YOLO 기반 모델의 62M에 비해 상당히 적은 파rameter를 사용한다.
• 템플릿 매칭 기반 접근 방식에 비해 빈 영역 탐지 및 겹치거나 유사한 외관을 가진 제품 처리에서 뛰어난 성능을 보였다.
• 메모리 사용량이 매우 효율적이어서 계산 자원이 제한된 엣지 장치에 배포하기에 적합하다.
• 한계점으로는 무늬 패턴이 있는 포장재 주변에서의 잘못된 경고와, 외관이 유사하고 단단히 쌓인 물품에서의 정위 부정확성이 있으며, 이는 더 넓은 훈련 데이터가 필요함을 시사한다.