[논문 리뷰] Salient Object Subitizing

Jianming Zhang, Shugao Ma외 7명|arXiv (Cornell University)|2016. 07. 26.

Visual Attention and Saliency Detection인용 수 8

한 줄 요약

이 논문은 국소화 없이 전체 시각적 특징을 사용하여 이미지 내 현저한 물체 수(1~4개 또는 그 이상)를 예측하는 새로운 작업인 Salient Object Subitizing (SOS)를 소개한다. 새로 수집한 14,000장의 이미지로 구성된 SOS 데이터셋을 기반으로 한 CNN 기반 모델을 제안하며, 0개 또는 1개의 물체에 대해 인간 수준의 정확도를 달성하고, 다수의 물체에 대해서는 우연의 결과보다 뚜렷하게 뛰어난 성능을 보이며, 합성 데이터 사전학습을 통해 추가로 성능 향상을 이룬다.

ABSTRACT

We study the problem of Salient Object Subitizing, i.e. predicting the existence and the number of salient objects in an image using holistic cues. This task is inspired by the ability of people to quickly and accurately identify the number of items within the subitizing range (1-4). To this end, we present a salient object subitizing image dataset of about 14K everyday images which are annotated using an online crowdsourcing marketplace. We show that using an end-to-end trained Convolutional Neural Network (CNN) model, we achieve prediction accuracy comparable to human performance in identifying images with zero or one salient object. For images with multiple salient objects, our model also provides significantly better than chance performance without requiring any localization process. Moreover, we propose a method to improve the training of the CNN subitizing model by leveraging synthetic images. In experiments, we demonstrate the accuracy and generalizability of our CNN subitizing model and its applications in salient object detection and image retrieval.

연구 동기 및 목표

• 작은 수의 물체(1~4개)에 대해 인간의 즉시 인지 능력(서브타이징)을 영감으로 삼아, Salient Object Subitizing (SOS)를 전체적인 이미지 분류 작업으로 정의하고 연구한다.
• 일상적인 이미지 약 14,000장으로 구성된 대규모이고 다양한 데이터셋을 수집 및 공개하며, 커뮤니티 기반으로 현저한 물체 수를 주석 처리한다.
• 국소화 없이 전역 이미지 특징을 사용하여 현저한 물체의 존재 여부와 수를 예측하는 엔드 투 엔드 CNN 모델을 개발한다.
• 특히 희귀한 수의 물체(예: 3개)에 대해 일반화 능력과 성능을 향상시키기 위해 합성 데이터 증강을 통해 모델의 일반화 능력을 향상시킨다.
• Salient Object Detection 및 콘텐츠 기반 이미지 검색과 같은 후행 작업에서 SOS의 유용성을 입증한다.

제안 방법

• Amazon Mechanical Turk를 활용하여, 현저한 물체 수(1, 2, 3, 또는 4개 이상)를 주석 처리한 14,000장의 이미지 데이터셋을 수집한다.
• SOS를 다중 클래스 이미지 분류 문제로 정의하며, 출력 클래스로 0, 1, 2, 3, 4개 이상의 현저한 물체를 포함한다.
• 실제 SOS 데이터셋에서 전이 학습된 엔드 투 엔드 컨volutional 네트워크(CNN)를 학습하여, 전역 이미지 특징에서 현저한 물체 수를 예측한다.
• 분리된 물체와 배경 이미지를 조합하여 20,000장의 합성 이미지를 생성하고, 이를 CNN의 사전학습에 사용한다.
• 합성 데이터에서 사전학습한 후 실재 데이터로 미세조정함으로써 모델의 일반화 능력을 향상시키며, 특히 2개, 3개, 4개 이상의 물체 수에 대해 성능 향상을 이룬다.
• 학습된 SOS 모델을 현저한 물체 탐지 및 이미지 검색 파이프라인에 플러그인 방식으로 적용하여 기존의 태그 기반 방법을 대체하거나 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 컨volutional 네트워크(CNN) 모델이 국소화 없이 전역 이미지 특징만을 사용하여 이미지 내 현저한 물체 수(1~4개)를 예측하는 데 인간 수준의 성능을 달성할 수 있는가?
• RQ2 학습 중에 합성 데이터를 포함함으로써 SOS 모델의 일반화 능력과 정확도가 향상되는가? 특히 희귀한 수의 물체(예: 3개)에 대해 어떻게 영향을 미치는가?
• RQ3 SOS 모델이 기준 방법에 비해 현저한 물체 탐지 및 콘텐츠 기반 이미지 검색 작업의 성능을 얼마나 향상시킬 수 있는가?
• RQ4 CNN이 특정 물체 종류에 의존하기보다는, 서브타이징에 유용한 일반적인, 클래스에 관계없는 시각적 패턴을 학습하고 있는가?
• RQ5 기존의 텍스트 기반 방법이 특정 물체 유형(예: 사람)에 대해 수 태그에 편향되어 있는 바에 비해, SOS 모델은 수-물체 쿼리에 효과적으로 대응할 수 있는가?

주요 결과

• CNN 기반 SOS 모델은 0개 또는 1개의 현저한 물체를 포함한 이미지를 인식하는 데 인간 수준의 정확도를 달성한다.
• 다수의 현저한 물체를 포함한 이미지에 대해서는 국소화 없이도 우연의 결과보다 뚜렷하게 뛰어난 성능을 보인다.
• 20,000장의 합성 이미지에서 사전학습한 결과, 2개, 3개, 4개 이상의 현저한 물체를 탐지하는 데 평균 정밀도(AP)가 각각 2%p 이상 향상되었으며, 특히 3개의 물체에 대해 6%p의 절대적 증가를 기록했다.
• 모델은 새로운 물체 카테고리에 대해서도 강력한 일반화 능력을 보이며, 학습된 특징이 특정 물체 클래스에 국한되지 않고 일반적인 특징임을 시사한다.
• 이미지 검색에서 SOS 기반 방법은 기준 방법과 텍스트 기반 방법을 모두 능가하며, 특히 다수의 물체를 포함하는 쿼리에 대해 그 카테고리에 관계없는 성질 덕분에 뛰어난 성능을 보였다.
• SOS 모델은 현저한 물체 수에 대한 사전 정보를 제공함으로써, 최신 기술 수준의 현저한 물체 탐지 방법의 성능을 향상시키며, 더 나은 윈도우 제안 생성을 가능하게 한다.