[논문 리뷰] RPC: A Large-Scale Retail Product Checkout Dataset

Xiu-Shen Wei, Quan Cui외 3명|arXiv (Cornell University)|2019. 01. 22.

Advanced Neural Network Applications참고 문헌 30인용 수 111

한 줄 요약

이 논문은 소매 상품 체크아웃(RPC) 데이터셋을 소개합니다. SKU와 이미지 측면에서 자동 체크아웃(ACO)을 위한 가장 큰 벤치마크이며, exemplar 이미지와 체크아웃 이미지를 사용하는 교차 도메인 검출 Baselines를 벤치마크합니다.

ABSTRACT

Over recent years, emerging interest has occurred in integrating computer vision technology into the retail industry. Automatic checkout (ACO) is one of the critical problems in this area which aims to automatically generate the shopping list from the images of the products to purchase. The main challenge of this problem comes from the large scale and the fine-grained nature of the product categories as well as the difficulty for collecting training images that reflect the realistic checkout scenarios due to continuous update of the products. Despite its significant practical and research value, this problem is not extensively studied in the computer vision community, largely due to the lack of a high-quality dataset. To fill this gap, in this work we propose a new dataset to facilitate relevant research. Our dataset enjoys the following characteristics: (1) It is by far the largest dataset in terms of both product image quantity and product categories. (2) It includes single-product images taken in a controlled environment and multi-product images taken by the checkout system. (3) It provides different levels of annotations for the check-out images. Comparing with the existing datasets, ours is closer to the realistic setting and can derive a variety of research problems. Besides the dataset, we also benchmark the performance on this dataset with various approaches. The dataset and related resources can be found at \url{https://rpc-dataset.github.io/}.

연구 동기 및 목표

• 대규모, 미세한 범주, 현실 세계 소매 시나리오의 도메인 시프트 도전을 다루어 자동 체크아웃 연구를 촉진한다.
• 3개의 잡다한 수준에서 200개의 SKU, 53,739개의 exemplar 이미지, 30,000개의 체크아웃 이미지를 갖춘 RPC를 도입한다.
• 다양한 학습 설정을 가능하게 하는 계층적 메타-카테고리와 약-강한 주석을 제공한다.
• 기초 방법을 벤치마크하여 실현 가능성 기초를 확립하고 개선 여지를 식별한다.

제안 방법

• ACO 작업과 데이터 요구사항 정의: 학습을 위한 단일 상품 exemplar와 평가를 위한 체크아웃 이미지.
• 현실 조건을 반영하기 위해 두 가지 이미지 타입(exemplar 및 checkout)과 세 가지 잡다 수준(쉬움, 중간, 어려움)을 가진 RPC 구성.
• 체크아웃 이미지에 대해 약-강한 주석(쇼핑 목록, 포인트 수준, 바운딩 박스)을 제공하여 약지도 학습을 지원한다.
• exemplar 학습 검출기와 합성 및 Cycle-GAN 기반 도메인 변환으로 데이터 증강을 이용한 4가지 교차 도메인 검출 Baseline(Single, Syn, Render, Syn+Render) 구현
• ACO 지표(cAcc, ACD, mCCD, mCIoU)와 표준 검출 지표(mAP50, mmAP)를 사용하여 검출기를 평가
• 합성 및 렌더링의 효과를 분석하고 도메인 변환과 혼합 합성/실제 데이터로부터 상당한 이득을 보임을 보인다.

실험 결과

연구 질문

• RQ1 실제 체크아웃 잡다를 가진 대규모 다범주 데이터가 효과적인 자동 체크아웃 연구를 지원할 수 있는가?
• RQ2 exemplar 단일 상품 이미지와 체크아웃 장면 간의 도메인 차이가 검출기 성능에 어떤 영향을 미치며 합성 및 도메인 변환으로 이 차이를 줄일 수 있는가?
• RQ3 ACO 작업을 진전시키기 위해 어떤 주석 및 감독 수준이 유용한가?
• RQ4 다른 훈련 데이터 전략(Single, 합성, 렌더링, 결합)은 쉬움, 중간, 어려움 잡다 수준에서 어떻게 성능 차이가 나타나는가?
• RQ5 ACO 검출기의 실용적 실패 모드는 무엇이며 어떤 접근법이 이를 완화하는데 가장 효과적인가?

주요 결과

잡다 모드	방법	cAcc (↑)	ACD (↓)	mCCD (↓)	mCIoU (↑)	mAP50 (↑)	mmAP (↑)
Easy	Single	0.02%	7.83	1.09	4.36%	3.65%	2.04%
Easy	Syn	18.49%	2.58	0.37	69.33%	81.51%	56.39%
Easy	Render	63.19%	0.72	0.11	90.64%	96.21%	77.65%
Easy	Syn+Render	73.17%	0.49	0.07	93.66%	97.34%	79.01%
Medium	Single	0.00%	19.77	1.67	3.96%	2.06%	1.11%
Medium	Syn	6.54%	4.33	0.37	68.61%	79.72%	51.75%
Medium	Render	43.02%	1.24	0.11	90.64%	95.83%	72.53%
Medium	Syn+Render	54.69%	0.90	0.08	92.95%	96.56%	73.24%
Hard	Single	0.00%	22.61	1.33	2.06%	0.97%	0.55%
Hard	Syn	2.91%	5.94	0.34	70.25%	80.98%	53.11%
Hard	Render	31.01%	1.77	0.10	90.41%	95.18%	71.56%
Hard	Syn+Render	42.48%	1.28	0.07	93.06%	96.45%	72.72%
Averaged	Single	0.01%	12.84	1.06	2.14%	1.83%	1.01%
Averaged	Syn	9.27%	4.27	0.35	69.65%	80.66%	53.08%
Averaged	Render	45.60%	1.25	0.10	90.58%	95.50%	72.76%
Averaged	Syn+Render	56.68%	0.89	0.07	93.19%	96.57%	73.83%

• RPC는 200개의 SKU, 53,739개의 exemplar 이미지, 30,000개의 체크아웃 이미지를 포함하여 대규모 평가를 가능하게 한다.
• exemplar 이미지에서 직접 학습하면 cAcc가 거의 0에 가깝고 특히 쉬운 잡다에서 그렇다; 합성 데이터가 cAcc를 크게 향상시킨다.
• 렌더링(도메인 변환)은 성능을 극적으로 향상시키며 쉬움 모드의 cAcc를 0.02%에서 63.19%로, Syn+Render에서 73.17%로 증가시킨다.
• 합성 및 렌더링 데이터를 결합하면 잡다 수준 전반에서 최상의 결과를 얻으며, Syn+Render의 쉬움에서 cAcc 73.17%, 중간 54.69%, 어려움 42.48%를 기록하고 mmAP은 최대 73.83% 평균에 달한다.
• 표준 검출 지표(mAP50, mmAP)는 Render 및 Syn+Render로 강한 이득을 보이며, 예시로 평균 mmAP 73.83%를 Syn+Render에서 달성한다.
• 이 연구는 실질적인 개선 여지가 크며, 누락 탐지, 밀집 배치, 미세한 구별, 거짓 긍정 등의 실용적 문제를 강조한다.