[논문 리뷰] Mining Objects: Fully Unsupervised Object Discovery and Localization From a Single Image.

Runsheng Zhang, Yaping Huang외 4명|arXiv (Cornell University)|2019. 02. 26.

Visual Attention and Saliency Detection참고 문헌 35인용 수 6

한 줄 요약

이 논문은 레이블이 전혀 없는 단일 이미지에서 주요 객체를 탐지하고 국소화하는 완전히 비지도 학습 방법인 객체 위치 마이닝(Object Location Mining, OLM)을 제안한다. 사전 훈련된 CNN의 특징 맵을 거래 데이터로 변환하고, 패턴 마이닝을 적용함으로써 공간적 및 외관 일관성을 가지는 공존 패턴을 식별함으로써 정확한 객체 국소화 및 부분 탐지가 가능해지며, 다양한 벤치마크에서 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

The goal of our work is to discover dominant objects without using any annotations. We focus on performing unsupervised object discovery and localization in a very general setting where only a single image is given. This is far more challenge than typical co-localization or weakly-supervised localization tasks. To tackle this problem, we propose a simple but effective pattern mining-based method, called Object Location Mining (OLM), which exploits the advantages of data mining and feature representation of pre-trained convolutional neural networks (CNNs). Specifically, we first convert the feature maps from a pre-trained CNN model into a set of transactions, and then discovers frequent patterns from transaction database through pattern mining techniques. We observe that those discovered patterns, i.e, co-occurrence highlighted regions, typically hold appearance and spatial consistency. Motivated by this observation, we can easily discover and localize possible objects by merging relevant meaningful patterns in an unsupervised manner. Extensive experiments on eleven benchmarks demonstrate that OLM achieves competitive localization performance compared with the state-of-the-art methods. We also evaluate our approach compared with unsupervised saliency detection methods and achieves best results on four benchmark datasets. Moreover, we conduct experiments on fine-grained classification to show that our proposed method can locate the entire object and parts accurately, which can benefit to improving the classification results significantly.

연구 동기 및 목표

• 레이블이 전혀 없는 단일 이미지에서 비지도 학습을 통한 객체 탐지 및 국소화 과제를 해결하기 위해.
• 경계 상자나 세그멘테이션 레이블에 의존하지 않고 전체 객체 및 그 부분을 국소화할 수 있는 방법을 개발하기 위해.
• CNN 특징 맵에서 공존 패턴의 공간적 및 외관 일관성을 활용하여 강력한 객체 국소화를 가능하게 하기 위해.
• 객체 국소화, 쇼킹도 탐지, 세분화된 분류 과제에서 방법을 평가하기 위해.
• 패턴 마이닝을 통한 비지도 객체 탐지가 후행 인식 성능을 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 사전 훈련된 CNN의 특징 맵을 각 공간 위치가 특징 활성화의 거래로 표현되는 거래 데이터베이스로 변환하기 위해.
• 특징 맵의 공간적 위치 간에 빈번한 공존 패턴을 발견하기 위해 패턴 마이닝 기법을 적용하기 위해.
• 잠재적인 객체 영역을 나타내는 공간적 및 외관 일관성을 보이는 의미 있는 패턴을 식별하기 위해.
• 비지도 방식으로 관련 패턴을 통합하여 객체 제안 및 경계 상자를 생성하기 위해.
• 후행 과제인 세분화된 분류와 같은 과제에 사용하기 위해 결과로 얻은 객체 국소화 특징을 활용하기 위해.
• CNN 특징의 계층적 구조를 활용하여 전체 객체와 그 구성 부위를 모두 탐지하기 위해.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN 특징 맵에서 빈번한 패턴 마이닝을 통해 레이블 없이도 단일 이미지에서 주요 객체를 효과적으로 국소화할 수 있는가?
• RQ2 제안된 방법은 최신 기술의 약한 지도 학습 및 비지도 쇼킹도 탐지 방법과 비교해 어떻게 성능을 냈는가?
• RQ3 발견된 객체 영역이 세분화된 분류 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 이 방법은 완전히 비지도 방식으로 전체 객체와 그 부분을 모두 국소화할 수 있는가?
• RQ5 공존 패턴에서 공간적 및 외관 일관성이 국소화 정확도에 기여하는 정도는 어느 정도인가?

주요 결과

• OLM은 11개의 벤치마크 데이터셋에서 경쟁력 있는 국소화 성능을 달성하였으며, 비지도 설정에서 최신 기술을 뛰어넘었다.
• 4개의 벤치마크 데이터셋에서 OLM은 비지도 쇼킹도 탐지 방법을 뛰어넘어 더 높은 객체 국소화 정확도를 보였다.
• 이 방법은 전체 객체와 그 부분을 성공적으로 국소화하였으며, 세분화된 분류 결과를 크게 향상시켰다.
• 패턴 마이닝을 통해 발견된 공존 패턴은 강한 공간적 및 외관 일관성을 보이며 신뢰할 수 있는 객체 후보를 형성한다.
• 사전 훈련된 CNN 특징과 패턴 마이닝을 조합함으로써 인간의 레이블 없이도 효과적인 비지도 객체 탐지가 가능하다.
• 다양한 객체 카테고리와 이미지 도메인에 걸쳐 잘 일반화되며, 여러 벤치마크에서 검증되었다.