[논문 리뷰] RP2K: A Large-Scale Retail Product Dataset for Fine-Grained Image Classification

Jingtian Peng, Chang Xiao외 1명|arXiv (Cornell University)|2020. 06. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 49인용 수 24

한 줄 요약

RP2K는 자연광 조건에서 실가게에서 수집한 350,000장의 이미지와 2,388종의 고유한 SKU를 포함하는 대규모 실생활 소매 제품 데이터셋이다. 최신의 미세 분류 기법들에도 불구하고 성능은 단지 간단한 ResNet 기반 모델을 약간 넘어서는 수준에 그쳐, 현실 조건에서 소매 제품 인식 분야에 있어 향상 여지가 크다는 점을 시사한다.

ABSTRACT

We introduce RP2K, a new large-scale retail product dataset for fine-grained image classification. Unlike previous datasets focusing on relatively few products, we collect more than 500,000 images of retail products on shelves belonging to 2000 different products. Our dataset aims to advance the research in retail object recognition, which has massive applications such as automatic shelf auditing and image-based product information retrieval. Our dataset enjoys following properties: (1) It is by far the largest scale dataset in terms of product categories. (2) All images are captured manually in physical retail stores with natural lightings, matching the scenario of real applications. (3) We provide rich annotations to each object, including the sizes, shapes and flavors/scents. We believe our dataset could benefit both computer vision research and retail industry. Our dataset is publicly available at https://www.pinlandata.com/rp2k_dataset.

연구 동기 및 목표

• 랩 기반 데이터셋과 실제 소매 응용 간의 격차를 해소하기 위해.
• 다양한 제품 변형(크기, 맛, 형태 등)을 반영하여 실제 가게 환경의 도전 과제를 더 잘 반영하는 대규모이고 현실적인 데이터셋을 제공하기 위해.
• 소매 비전 작업을 위한 미세 분류, 소수의 샘플 학습, 생성 모델링 연구를 지원하기 위해.
• 변동하는 조도, 카메라 각도, 가림 현상 등의 현실 조건에서의 강인성 평가를 가능하게 하기 위해.
• 자동 선반 감시, 제품 검색, 재고 모니터링 시스템의 발전을 위한 벤치마크로 기능하기 위해.

제안 방법

• 자연광 조건에서 500여 개 이상의 실가게에서 수기로 350,000장의 제품 이미지를 수집하였다.
• 제품 유형에 따라 7개의 메타카테고리, 형태에 따라 7개의 카테고리로 나누어 총 2,388종의 고유한 SKU를 포함하여 계층적 평가를 가능하게 하였다.
• 각 이미지에 SKU ID, 브랜드, 맛/유형, 크기, 형태를 애너테이션하여 다중 수준의 미세 분류 분석을 지원하였다.
• 레이out 및 장면 이해 작업을 위한 평균 3024×4032 해상도의 원본 고해상도 선반 이미지 10,000장을 포함하였다.
• 긴 꼬리 분포로 인해 소수의 샘플 학습에 적합하도록 데이터셋을 설계하였으며, 30장 이하의 학습 이미지를 가진 클래스가 100개 이상 존재한다.
• 바운딩 박스와 의미적 레이블을 활용하여 객체 검출, 레이아웃 생성, 공격에 대한 강인성 평가가 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 최신의 미세 분류 모델들이 변동하는 조도와 카메라 각도 조건에서 실생활 소매 제품 인식에 효과적으로 일반화될 수 있는가?
• RQ2 미세 분류 소매 제품 변형의 복잡성 고려 시, RP2K에서 딥 러닝 모델의 성능이 ResNet과 같은 단순 기반 모델과 비교해 어떻게 되는가?
• RQ3 RP2K의 긴 꼬리 클래스 분포로 인해, 많은 저자원 카테고리가 존재함에 따라 소수의 샘플 학습에 얼마나 잘 기여할 수 있는가?
• RQ4 정확한 객체 배치를 갖춘 구조화된 선반 레이아웃을 생성하는 것을 목표로 하는 생성 모델에 대해 RP2K가 현실적인 벤치마크로 기능할 수 있는가?
• RQ5 자동 선반 감시 및 실시간 재고 부족 감지와 같은 실용적 소매 응용 분야에서 RP2K는 얼마나 효과적인가?

주요 결과

• RP2K에서 가장 최신의 미세 분류 모델들조차도 단지 간단한 ResNet 기반 모델을 약간 넘어서는 성능을 보이며, 이는 큰 성능 격차와 향상 여지가 크다는 것을 시사한다.
• 이 데이터셋은 2,388종의 고유한 SKU를 포함하고 있으며, 평균 160장의 이미지가 각 SKU당 존재하여, 카테고리 수 측면에서 가장 큰 미세 분류 소매 데이터셋이다.
• RP2K의 100개 이상의 클래스가 30장 이하의 학습 이미지를 가지며, 이는 소수의 샘플 학습 평가에 적합한 강한 긴 꼬리 분포를 형성한다.
• 브랜드, 맛, 크기, 형태와 같은 풍부한 속성의 포함으로 다중 수준의 미세 분류 평가가 가능하다.
• 자연광과 실제 선반 배치를 사용한 실생활 데이터 수집 방식은 실제 소매점의 구현 상황과 매우 유사하다.
• 바운딩 박스 애너테이션을 포함한 원본 선반 이미지들은 구조화된 이미지 합성 및 레이아웃 예측을 위한 생성 모델 훈련 및 평가에 강력한 기반을 제공한다.