[논문 리뷰] Unsupervised deep object discovery for instance recognition

Oriane Siméoni, Ahmet İşcen외 3명|arXiv (Cornell University)|2017. 09. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 39인용 수 3

한 줄 요약

이 논문은 지역적 CNN 특징에서 구성된 근접 이웃 그래프 위에서 중심성 측도를 사용하여 이미지 내 주목할 만한 영역을 식별하는 비지도 딥 오브제크트 디스커버리 방법을 제안한다. 특히, 구분력 있고 공통적인 패턴에 초점을 맞추어, 혼잡한 시나리오에서 작은 오브제에 대해 인스턴스 수준의 검색 성능을 향상시키며, 심한 배경 혼잡도가 있는 대규모 이미지 검색에서 글로벌 특징보다 우수한 성능을 발휘한다.

ABSTRACT

Severe background clutter is challenging in many computer vision tasks, including large-scale image retrieval. Global descriptors, that are popular due to their memory and search efficiency, are especially prone to corruption by such a clutter. Eliminating the impact of the clutter on the image descriptor increases the chance of retrieving relevant images and prevents topic drift due to actually retrieving the clutter in the case of query expansion. In this work, we propose a novel salient region detection method. It captures, in an unsupervised manner, patterns that are both discriminative and common in the dataset. Saliency is based on a centrality measure of a nearest neighbor graph constructed from regional CNN representations of dataset images. The descriptors derived from the salient regions improve particular object retrieval, most noticeably in a large collections containing small objects.

연구 동기 및 목표

• 대규모 이미지 검색에서 심한 배경 혼잡도로 인한 글로벌 특징의 성능 저하 문제를 해결하기 위해.
• 데이터셋 전반에 걸쳐 구분력 있고 공통적인 특징을 가진 주목할 만한 영역을 식별하는 비지도 방법을 개발하기 위해.
• 전체 이미지 특징 대신 이러한 주목할 만한 영역에서 특징를 유도하여 인스턴스 인식을 향상시키기 위해.
• 특히 혼잡한 환경에서 작은 오브제에 대해 검색 성능을 향상시키기 위해.
• 불필요한 배경 콘텐츠의 영향을 최소화하여 쿼리 확장 중 주제 이탈을 줄이기 위해.

제안 방법

• 데이터셋 내 이미지에서 추출한 지역적 CNN 특징 표현을 사용하여 근접 이웃 그래프를 구축한다.
• 특히 PageRank의 변종인 중심성 측도를 근접 이웃 그래프에 적용하여 주목할 만한 영역을 식별한다.
• 중심성 점수를 활용하여 데이터셋 전반에 걸쳐 공통적이고 구분력 있는 영역을 국소화한다.
• 주목할 만한 영역에서 특징를 추출하여 검색을 위한 개선된 이미지 특징 표현을 구성한다.
• 바운딩 박스 애너테이션 또는 카테고리 레이블이 필요 없이 비지도 방식으로 모델을 훈련하고 평가한다.
• 주목할 만한 영역 기반 특징 표현을 인스턴스 수준의 이미지 검색에 적용하고, 글로벌 특징 기반 베이스라인과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 그래프 중심성에 기반한 비지도 주목성 탐지가 혼잡한 데이터셋에서 인스턴스 검색 성능을 향상시키는가?
• RQ2 감독 없이도 제안된 방법이 구분력 있고 공통적인 영역을 얼마나 효과적으로 식별하는가?
• RQ3 주목할 만한 영역에서 특징를 학습하는 것이, 작은 오브제가 포함된 대규모 이미지 검색에서 글로벌 특징보다 우수한가?
• RQ4 혼잡한 환경에서 쿼리 확장 중 주제 이탈은 어느 정도 감소하는가?
• RQ5 배경 혼잡도 수준이 다른 데이터셋 간에서 성능은 어떻게 변화하는가?

주요 결과

• 제안된 방법은 특히 배경 혼잡도가 높은 데이터셋에서 인스턴스 수준의 검색 성능을 크게 향상시킨다.
• 그래프 중심성에 기반한 주목성 탐지는 데이터셋 전반에 걸쳐 구분력 있고 공통적인 영역을 성공적으로 식별한다.
• 주목할 만한 영역에서 유도된 특징 표현은 대규모 검색에서 글로벌 특징보다 뛰어난 성능을 보이며, 특히 작은 오브제에 대해 유의미한 향상이 있다.
• 불필요한 배경 콘텐츠의 검색을 최소화함으로써, 쿼리 확장 중 주제 이탈을 줄이는 데 기여한다.
• 비지도 특성 덕분에 어떤 애너테이션 데이터 없이도 효과적인 주목할 만한 영역 탐지가 가능하다.
• 다양한 벤치마크 데이터셋에서 일관된 성능 향상을 보이며, 혼잡도와 오브제 크기에 대한 강건성을 입증한다.