[논문 리뷰] Unsupervised Object Discovery and Localization in the Wild: Part-based Matching with Bottom-up Region Proposals

Minsu Cho, Suha Kwak외 2명|arXiv (Cornell University)|2015. 01. 25.

Advanced Image and Video Retrieval Techniques참고 문헌 52인용 수 43

한 줄 요약

이 논문은 하향식 영역 제안과 확률적 허프 변환을 사용한 부분 기반 영역 매칭 접근법을 제안하여, 애너테이션 없이 다중 객체 클래스를 포함한 완전히 비지도 이미지 컬렉션에서 주요 객체를 발견하고 국소화한다. 이는 주목도 점수를 통해 포함된 영역들에 비해 두드러지게 두드러진 영역을 측정함으로써, 컬로컬라이제이션 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하고, 복합 클래스 데이터셋에서도 강력한 국소화 성능을 보인다.

ABSTRACT

This paper addresses unsupervised discovery and localization of dominant objects from a noisy image collection with multiple object classes. The setting of this problem is fully unsupervised, without even image-level annotations or any assumption of a single dominant class. This is far more general than typical colocalization, cosegmentation, or weakly-supervised localization tasks. We tackle the discovery and localization problem using a part-based region matching approach: We use off-the-shelf region proposals to form a set of candidate bounding boxes for objects and object parts. These regions are efficiently matched across images using a probabilistic Hough transform that evaluates the confidence for each candidate correspondence considering both appearance and spatial consistency. Dominant objects are discovered and localized by comparing the scores of candidate regions and selecting those that stand out over other regions containing them. Extensive experimental evaluations on standard benchmarks demonstrate that the proposed approach significantly outperforms the current state of the art in colocalization, and achieves robust object discovery in challenging mixed-class datasets.

연구 동기 및 목표

• 애너테이션이 전혀 없는 실세계 이미지 컬렉션에서 다중 객체 클래스 및 노이즈가 많은 이미지를 포함한 비지도 객체 탐지 및 국소화를 해결한다.
• 이미지 수준의 레이블, 단일 클래스 가정 또는 알려진 클래스 수를 요구하는 기존 방법의 한계를 극복한다.
• 감독 없이 객체와 그 부분을 모두 탐지할 수 있는 완전히 비지도 프레임워크를 개발한다.
• 기존 방법이 클래스 빈도 편향으로 인해 실패하는 불균형적이고 다중 클래스의 데이터셋에서도 강력한 국소화를 가능하게 한다.
• 후보 영역들 중에서 주요 객체 인스턴스를 식별할 수 있는 주목도 기반 선택 메커니즘을 도입한다.

제안 방법

• 모든 이미지에서 객체와 부분을 위한 후보 영역을 형성하기 위해 다중 스케일 하향식 영역 제안을 생성한다.
• 외관과 공간 일관성에 기반해 이미지 간 후보 영역을 매칭하기 위해 확률적 허프 변환을 적용하고, 신뢰도 점수를 할당한다.
• 포함된 영역들보다 더 두드러진 영역을 식별하기 위해 주목도 점수를 사용하여 배경에서 분리된 객체 국소화를 가능하게 한다.
• 부분 기반 영역 매칭과 전경 국소화를 반복적으로 번갈아가며 객체 제안을 정밀하게 개선한다.
• 매칭된 부분들의 공간적 및 외관 일관성을 활용해 감독 없이도 객체 인스턴스를 탐지한다.
• 사전 학습된 특징, 주목도 맵, 또는 부정적 데이터와 같은 외부 감독 자료에 의존하지 않아 완전한 비지도 상태를 유지한다.

실험 결과

연구 질문

• RQ1 다중 객체 클래스와 이미지 수준의 애너테이션이 전혀 없는 완전히 비지도 설정에서 비지도 객체 탐지가 효과적으로 달성될 수 있는가?
• RQ2 부분 기반 매칭은 복합 클래스 및 노이즈가 많은 이미지 컬렉션에서 객체 국소화의 강건성을 어떻게 향상시킬 수 있는가?
• RQ3 제안된 주목도 점수는 전통적인 주목도 또는 군집화 방법에 비해 주요 객체를 식별하는 데 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 클래스 불균형 상황에서, 특히 저빈도 객체 카테고리에 대해서는 성능이 어떻게 유지되는가?
• RQ5 감독 없이도 의미적으로 유사하지만 서로 다른 객체 클래스(예: 자동차와 버스) 간에 부분 기반 매칭이 일반화될 수 있는가?

주요 결과

• 제안된 방법은 표준 컬로컬라이제이션 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전의 비지도 및 약한 지도 학습 방법을 모두 능가한다.
• PASCAL 07-all 복합 클래스 데이터셋에서, 이 방법은 CorLoc 61.6%와 CorRet 31.5%를 기록하여 완전히 비지도 설정에서 강력한 국소화 및 검색 성능을 입증한다.
• 클래스 불균형에도 불구하고 성능이 비교적 안정적으로 유지되며, 고빈도 클래스의 CorLoc는 1.2% 감소에 그치고 저빈도 클래스는 9.4% 감소에 그친다.
• 이웃 이미지에 다른 클래스가 포함되어 있어도(예: 자동차와 소파가 있는 상황에서 버스를 국소화) 객체를 성공적으로 국소화하여 유사한 객체 유형 간의 일반화 능력을 보여준다.
• 그림 8의 혼동 행렬은 검색 성능가 클래스 빈도에 영향을 받지만, 부분 기반 매칭과 주목도 점수 기반 전략 덕분에 국소화 성능은 효과적으로 유지됨을 보여준다.
• 완전히 비지도 환경에서 작동하지만, 이미지 수준의 레이블을 사용하는 약한 지도 학습 방법과 경쟁 수준의 성능을 기록한다.