[논문 리뷰] Toward unsupervised, multi-object discovery in large-scale image collections

Huy V. Vo, Patrick Pérez외 1명|arXiv (Cornell University)|2020. 07. 06.

Advanced Neural Network Applications참고 문헌 42인용 수 49

한 줄 요약

이 논문은 CNN 기반 영역 제안과 규제된 확장 가능 객체 발견(framework rOSD)을 사용한 비지도 파이프라인으로 대규모 이미지 컬렉션에서 다수의 객체를 발견합니다.

ABSTRACT

This paper addresses the problem of discovering the objects present in a collection of images without any supervision. We build on the optimization approach of Vo et al. (CVPR'19) with several key novelties: (1) We propose a novel saliency-based region proposal algorithm that achieves significantly higher overlap with ground-truth objects than other competitive methods. This procedure leverages off-the-shelf CNN features trained on classification tasks without any bounding box information, but is otherwise unsupervised. (2) We exploit the inherent hierarchical structure of proposals as an effective regularizer for the approach to object discovery of Vo et al., boosting its performance to significantly improve over the state of the art on several standard benchmarks. (3) We adopt a two-stage strategy to select promising proposals using small random sets of images before using the whole image collection to discover the objects it depicts, allowing us to tackle, for the first time (to the best of our knowledge), the discovery of multiple objects in each one of the pictures making up datasets with up to 20,000 images, an over five-fold increase compared to existing methods, and a first step toward true large-scale unsupervised image interpretation.

연구 동기 및 목표

• Bounding-box 감독 없이 대규모 이미지 컬렉션에서 객체를 발견하는 비지도 방법 개발
• 보조 분류 과제에서 학습된 CNN 특징을 활용하여 영역 제안 개선
• 이미지 내 다중 객체 발견을 가능하게 하는 규제된 OSD(rOSD) 구성 도입
• 최대 20,000장 이상의 데이터셋에 적용 가능한 2단계의 확장 가능한 객체 발견 접근법 제안

제안 방법

• 경계 상자 없이 CNN 특징 맵으로부터 글로벌 현저도 맵과 국부 극대값을 구성해 제안을 형성하여 영역 제안을 직접 생성
• 제안들을 생성 로컬 최대값으로 그룹화하고 각 그룹당 보유 영역을 하나로 제한하는 규제된 OSD(rOSD) 도입
• 두 단계 전략으로 대규모 컬렉션의 확장성 향상: 먼저 이미지당 유망한 제안을 선택한 뒤 전체 컬렉션에서 축소된 제안 집합으로 OSD 수행
• 대규모 버전의 2단계 접근법 채택, 이웃 정보를 사전 필터링하고 프록시 OSD를 사용한 뒤 전체 데이터셋 최적화를 수행

실험 결과

연구 질문

• RQ1 비지도 CNN 기반 영역 제안이 전통적인 비지도 제안 대비 객체 발견을 향상시킬 수 있는가?
• RQ2 그룹별 제약(로컬 최대값 그룹당 하나의 영역) 적용이 다중 객체 발견 성능을 향상시키는가?
• RQ3 두 단계의 대규모 전략이 매우 큰 데이터셋에서 다중 객체 발견을 얼마나 잘 가능하게 하는가?
• RQ4 OSD 및 제안된 rOSD가 단일/다중 객체 발견의 표준 벤치마크에서 최첨단 방법과 비교할 때 어떤 성능을 보이는가?
• RQ5 경계 상자 없이 미리 학습된 CNN 특징을 사용할 때 발견 성능에 미치는 영향은 무엇인가?

주요 결과

• CNN 기반 영역 제안은 여러 데이터셋에서 객체 발견에서 일반적인 비지도 제안보다 우수하게 나타남
• 정규화된 OSD(rOSD)가 원래 OSD보다 현저히 개선되어 강건한 다중 객체 발견을 가능하게 함
• 2단계의 대규모 접근법은 20,000장까지의 데이터셋에 대해 객체 발견 적용을 가능하게 하면서도 성능 이점을 유지
• OD에서 VOC_6x2, VOC_all, 및 VOC12에서 rOSD가 다중 객체 발견 설정에서 최첨단 대비 경쟁력 있는 또는 우수한 결과를 보임
• 대규모 데이터셋 전반에 걸쳐 rOSD가 다중 객체 공공위치화 및 발견에서 경쟁 방법을 능가하며 VOC_all 및 VOC12에서 뚜렷한 이점을 보임