[논문 리뷰] ARC: A Vision-based Automatic Retail Checkout System

Syed Talha Bukhari, Abdul Wahab Amin외 2명|arXiv (Cornell University)|2021. 04. 07.

QR Code Applications and Technologies참고 문헌 22인용 수 7

한 줄 요약

이 논문은 저비용의 비전 기반 자동 소매 체크아웃 시스템인 ARC를 제안한다. 이 시스템은 웹캠 영상에서 소매 제품을 식별하기 위해 경량 컨볼루션 신경망(CNN)을 사용하며, 통제된 조건에서 100종의 현지 소매 제품으로 구성된 자체 데이터셋에서 테스트 정확도 91.7%를 달성한다. 이 시스템은 바코드 의존성을 제거하고, 오프더쇼프 구성 요소와 무료 클라우드 훈련 자원을 사용하여 인간의 감독 없이 자율적으로 체크아웃을 수행할 수 있다.

ABSTRACT

Retail checkout systems employed at supermarkets primarily rely on barcode scanners, with some utilizing QR codes, to identify the items being purchased. These methods are time-consuming in practice, require a certain level of human supervision, and involve waiting in long queues. In this regard, we propose a system, that we call ARC, which aims at making the process of check-out at retail store counters faster, autonomous, and more convenient, while reducing dependency on a human operator. The approach makes use of a computer vision-based system, with a Convolutional Neural Network at its core, which scans objects placed beneath a webcam for identification. To evaluate the proposed system, we curated an image dataset of one-hundred local retail items of various categories. Within the given assumptions and considerations, the system achieves a reasonable test-time accuracy, pointing towards an ambitious future for the proposed setup. The project code and the dataset are made publicly available.

연구 동기 및 목표

• 바코드 스캐너나 인간 운영자에 대한 의존도를 제거하는 저비용의 자율 소매 체크아웃 시스템을 설계하는 것.
• 최소한의 하드웨어로 실시간 제품 식별을 위한 컴퓨터 비전과 딥 러닝의 실현 가능성을 평가하는 것.
• 경량 CNN이 실제 세계의 현지에서 확보한 소매 이미지 데이터셋에서 만족스러운 정확도를 달성할 수 있음을 보여주는 것.
• 완전 재훈련 없이도 새로운 제품을 위한 점진적 학습과 미세조정을 지원함으로써 향후 확장성을 확보하는 것.

제안 방법

• 웹캠이 나무로 된 흡음대 아래에 놓인 소매 제품의 영상을 촬영하여 움직임 블러를 최소화하고 조명 일관성을 향상시킨다.
• 이미지 전처리로 회색조 변환, 히스토GRAM 균형 조정, 크기 조정을 수행하여 CNN 입력을 표준화한다.
• 경량 CNN 아키텍처를 확률적 경사 하강법과 가중치 감소(L2 펜alty 0.01)를 사용하여 훈련하며, 스케줄링된 학습률 감소 전략을 적용한다.
• Google Colab를 사용하여 100종의 현지 소매 제품으로 구성된 자체 데이터셋에서 훈련을 수행하였으며, 훈련 정확도는 94.76%, 검증 정확도는 95.24%였다.
• 추론은 한 번에 하나의 제품에 대해 수행되며, 시야에 겹치는 제품이 없음을 가정하여 혼동을 방지한다.
• 데이터 수집 중 수동 애너테이션 작업을 줄이기 위해 배경 제거 기법을 사용하여 객체 국소화를 단순화한다.

실험 결과

연구 질문

• RQ1 저비용 웹캠 입력을 사용할 때 경량 CNN이 실시간 소매 제품 식별에 충분한 정확도를 달성할 수 있는가?
• RQ2 표면 반사성이나 포장의 미세한 차이가 있는 시각적으로 유사한 소매 제품에 대해 시스템의 성능은 어떠한가?
• RQ3 이미지 전처리가 열악한 촬영 조건에서 특징 추출과 분류 정확도 향상에 얼마나 기여하는가?
• RQ4 모델을 완전 재훈련 없이도 새로운 제품을 포함하도록 미세조정할 수 있는가? 이는 장기적인 확장성에 기여하는가?

주요 결과

• 통제된 조건에서 100종의 현지 소매 제품으로 구성된 데이터셋에서 시스템은 테스트 정확도 91.7%를 달성하여 실생활 적용 가능성은 입증되었다.
• 가장 악성인 오분류는 시각적으로 유사한 제품 간에 발생했으며, 예를 들어 항목 21이 항목 74로 잘못 분류된 경우(에러율 83.87%)와 항목 87이 항목 2로 오분류된 경우(에러율 38.71%)가 있었다.
• 표면 반사나 반사성 포장에도 불구하고, 시스템은 항목 95와 96, 항목 84, 85, 86 등 매우 유사한 제품들을 정확히 구분하여 전처리를 통한 효과적인 특징 추출을 보여주었다.
• 모델는 클래스 편향을 보였으며, 일부 항목(예: 항목 2)은 전혀 오분류되지 않았다. 이는 어려운 식별 클래스에서의 분류 성능 향상을 위해 가중치가 부여된 교차 엔트로피 손실이 필요함을 시사한다.
• Google Colab의 사용 덕분에 고성능 로컬 하드웨어 없이도 비용 효율적인 훈련이 가능하여, 시스템의 저비용 설계 목표를 지원하였다.
• 시스템의 성능은 운동 블러와 단일 객체만을 시야에 포함하는 가정에 의해 제한되며, 향후 향상은 더 빠른 shuttter 속도를 가진 카메라와 실시간 처리를 위한 다중 객체 검출(예: YOLO) 도입이 필요하다.