[논문 리뷰] Detecting retail products in situ using CNN without human effort labeling

Yi Wei, Yaoran Sun외 2명|arXiv (Cornell University)|2019. 04. 22.

Visual Attention and Saliency Detection참고 문헌 26인용 수 5

한 줄 요약

이 논문은 CNN를 사용하여 실제 장면에서 소매 제품 인식을 위한 약한 감독 객체 검출 프레임워크를 제안한다. 수동으로 바운딩 박스를 레이블링할 필요 없이, in-vitro 데이터셋 마이닝과 합성 음영 시뮬레이션을 활용하여, 324개의 제품 카테고리에 대해 인간 레이블이 없는 바운딩 박스로도 강력한 검출 성능을 달성한다.

ABSTRACT

CNN is a powerful tool for many computer vision tasks, achieving much better result than traditional methods. Since CNN has a very large capacity, training such a neural network often requires many data, but it is often expensive to obtain labeled images in real practice, especially for object detection, where collecting bounding box of every object in training set requires many human efforts. This is the case in detection of retail products where there can be many different categories. In this paper, we focus on applying CNN to detect 324-categories products in situ, while requiring no extra effort of labeling bounding box for any image. Our approach is based on an algorithm that extracts bounding box from in-vitro dataset and an algorithm to simulate occlusion. We have successfully shown the effectiveness and usefulness of our methods to build up a Faster RCNN detection model. Similar idea is also applicable in other scenarios.

연구 동기 및 목표

• 대규모 소매 제품 검출을 위한 바운딩 박스 레이블링의 높은 비용 문제를 해결하기 위해.
• 모든 훈련 이미지에 인간 레이블이 없는 바운딩 박스가 필요하지 않은 CNN 기반 객체 검출기 훈련을 가능하게 하기 위해.
• 실제 장면에서 존재하는 324종의 소매 제품 카테고리를 탐지하기 위한 확장 가능한 솔루션 개발을 위해.
• 소매 환경에서 복잡하고 세밀한 객체 검출에 대해 약한 감독 학습의 가능성을 탐색하기 위해.

제안 방법

• 사전 훈련된 CNN를 사용하여 통제된 청소된 이미지에서 제품을 국소화함으로써, in-vitro 데이터셋에서 후보 바운딩 박스를 추출한다.
• 이미지의 일부를 마스킹하여 음영을 시뮬레이션하는 데이터 증강 기법을 적용하여, 실제 장면의 혼잡함과 부분적 가림에 대한 강건성을 향상시킨다.
• 이미지 수준의 레이블을 사용하여 바운딩 박스 감독 없이 Faster R-CNN 검출기를 훈련하는 약한 감독 훈련 전략을 사용한다.
• 자동으로 생성된 바운딩 박스와 음영 증강 데이터를 사용하여 모델을 피지컬 튜닝함으로써 국소화 정확도를 향상시킨다.
• in-vitro 이미지에서 제품이 잘 분리되어 있으며 신뢰성 있게 탐지될 수 있다는 가정에 기반한다.

실험 결과

연구 질문

• RQ1 소매 제품 검출을 위해 인간 레이블이 없는 바운딩 박스가 전혀 없는 상태에서 CNN 기반 객체 검출기가 효과적으로 훈련될 수 있는가?
• RQ2 in-vitro 데이터셋 마이닝이 실제 장면의 in-situ 검출을 위한 신뢰할 수 있는 초기 바운딩 박스 제안을 생성하는 데 얼마나 효과적인가?
• RQ3 합성 음영 시뮬레이션이 실제 장면의 혼잡한 환경으로의 일반화 능력을 어느 정도 향상시키는가?
• RQ4 약한 감독 학습이 324개 카테고리로 이루어진 대규모 소매 제품 데이터셋에서 경쟁적인 검출 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 인간 레이블이 없는 바운딩 박스로 324개의 소매 제품 카테고리에 대해 Faster R-CNN 검출기를 성공적으로 훈련시켰다.
• in-vitro 데이터를 사용한 초기 바운딩 박스 추출이 수동 레이블링의 필요성을 크게 줄이면서도 검출 품질을 유지함을 보였다.
• 합성 음영 시뮬레이션이 모델의 강건성을 향상시켜, 부분적으로 가려진 실제 장면 테스트 이미지에서 성능을 향상시켰다.
• in-situ 테스트 세트에서 경쟁적인 평균 정확도(mAP)를 달성하여, 복잡한 소매 환경에서의 약한 감독 검출의 가능성을 입증했다.