[논문 리뷰] ScaleNet: Guiding Object Proposal Generation in Supermarkets and Beyond

Siyuan Qiao, Wei Shen외 3명|arXiv (Cornell University)|2017. 04. 22.

Advanced Neural Network Applications참고 문헌 38인용 수 13

한 줄 요약

이 논문은 객체 크기 분포를 사전에 예측함으로써 혼잡한 슈퍼마켓 및 자연 이미지에서 검출 성능을 향상시키는 스케일 인식 객체 프로포절 프레임워크인 ScaleNet을 제안한다. ScaleNet을 통한 스케일별 특징 추출 유도로 인해, COCO 및 슈퍼마켓 데이터셋 양쪽에서 최신 기술 대비 유의미한 리콜 향상을 이룩하였으며, COCO에서 AR@1k 기준 최대 15.6% 향상 및 실생활 슈퍼마켓 데이터에서 20% 이상 향상된 성과를 기록하였다.

ABSTRACT

Motivated by product detection in supermarkets, this paper studies the problem of object proposal generation in supermarket images and other natural images. We argue that estimation of object scales in images is helpful for generating object proposals, especially for supermarket images where object scales are usually within a small range. Therefore, we propose to estimate object scales of images before generating object proposals. The proposed method for predicting object scales is called ScaleNet. To validate the effectiveness of ScaleNet, we build three supermarket datasets, two of which are real-world datasets used for testing and the other one is a synthetic dataset used for training. In short, we extend the previous state-of-the-art object proposal methods by adding a scale prediction phase. The resulted method outperforms the previous state-of-the-art on the supermarket datasets by a large margin. We also show that the approach works for object proposal on other natural images and it outperforms the previous state-of-the-art object proposal methods on the MS COCO dataset. The supermarket datasets, the virtual supermarkets, and the tools for creating more synthetic datasets will be made public.

연구 동기 및 목표

• 제품이 작고, 외관이 유사하며 군집되어 있는 혼잡한 슈퍼마켓 이미지에서 정확한 객체 프로포절을 생성하는 데 도전하는 것.
• 이미지 내 주요 객체 크기를 예측하여 객체 프로포절의 검색 공간을 줄임으로써 효율성과 정확도를 향상시키는 것.
• 합성 학습 데이터에서 실세계 슈퍼마켓 및 자연 이미지 데이터셋으로의 일반화 성능이 뛰어난 프레임워크를 개발하는 것.
• 기존 객체 프로포절 네트워크(예: SharpMask)의 성능을 크게 향상시킬 수 있음을 보여주는 것.
• 공개용으로 사용 가능한 세 가지 신규 데이터셋—두 개의 실세계 슈퍼마켓 데이터셋과 하나의 대규모 합성 데이터셋—을 제출하는 것.

제안 방법

• ScaleNet은 이미지 내 객체 크기 분포를 예측하기 위한 딥 뉴럴 네트워크로, 객체 크기(최대 너비/높이)와 이미지 크기(최대 너비/높이)의 비율로 정의된다.
• 예측된 크기 분포에 따라 프로포절 생성 이전에 이미지를 리사이징하며, 이는 기초 객체 프로포절 네트워크(예: SharpMask)가 예측된 크기에서 프로포절을 생성하도록 유도한다.
• 이 프레임워크는 이중 단계 파이프라인을 사용한다: 첫 번째 단계에서 ScaleNet이 크기 범위를 추정하고, 두 번째 단계에서 입력 이미지가 해당 범위로 리스케일링되어 딥 객체 프로포절 모델에 의해 처리된다.
• 강력한 학습을 가능하게 하기 위해 컴퓨터 그래픽스 기법을 사용해 총 154,238개의 학습 및 80,452개의 검증 객체를 포함하는 대규모 합성 슈퍼마켓 데이터셋을 생성하였다.
• 모델은 COCO + 합성 데이터에서 ScaleNet을 피니튜닝하고, 학습 중에 실세계 슈퍼마켓 데이터셋을 사용하지 않고 테스트하는 방식으로 평가되었다.
• 기존 프로포절 네트워크와 호환되며, 성능 향상을 위해 사전 처리 단계로 통합될 수 있다.

실험 결과

연구 질문

• RQ1 이미지 내 객체 크기 분포를 사전에 예측하는 것이 혼잡한 슈퍼마켓 환경에서의 객체 프로포절 성능을 크게 향상시킬 수 있는가?
• RQ2 희박하고 군집된 객체 크기 분포를 가진 데이터셋에서 스케일 인식 프로포절 프레임워크가 일반적인 목적의 객체 프로포절 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ3 실세계 슈퍼마켓 이미지 데이터셋에 대해 실데이터로의 피니튜닝 없이도 합성 슈퍼마켓 데이터에서 학습한 모델이 효과적으로 일반화될 수 있는가?
• RQ4 어느 정도의 수준에서 크기 예측이 낮은 프로포절 수(예: 10, 100, 1000)에서 오소성(false positives)를 줄이고 리콜을 향상시키는가?
• RQ5 COCO 및 슈퍼마켓 전용 벤치마크에서 최신 기술인 SharpMask 및 DeepMask와 비교해 본 결과, 제안된 방법은 어떤 성능을 보이는가?

주요 결과

• Real-Near 슈퍼마켓 데이터셋에서 제안된 방법은 AR@1000이 0.578을 기록하여 이전 최고 성능(0.500) 대비 15.6% 향상된 성과를 달성하였다.
• Real-Far 데이터셋에서 방법은 AR@1000이 0.557을 기록하여 이전 최고 성능(0.495) 대비 12.5% 향상된 성과를 기록하였다.
• MS COCO 데이터셋에서 경계 박스 프로포절의 경우, 방법은 AR@1000이 0.578을 기록하여 이전 최고 성능(0.500) 대비 15.6% 상대적 향상된 성과를 기록하였다.
• COCO에서 세그멘테이션 프로포절의 경우, 방법은 AR@1000이 0.448을 기록하여 이전 최고 성능(0.392) 대비 12.5% 향상된 성과를 기록하였다.
• Real-Near 데이터셋에서 AR@100의 경우 20% 이상의 상대적 향상이 이루어져 낮은 프로포절 수에서의 성능 향상이 뚜렷하게 나타났다.
• 실세계 데이터를 학습 중에 사용하지 않고도 합성 데이터와 COCO에서만 학습한 모델이 실세계 슈퍼마켓 데이터에 잘 일반화됨을 확인하였다.