[논문 리뷰] Fusing Saliency Maps with Region Proposals for Unsupervised Object Localization

Hakan Karaoğuz, Patric Jensfelt|arXiv (Cornell University)|2018. 04. 11.

Visual Attention and Saliency Detection참고 문헌 18인용 수 3

한 줄 요약

이 논문은 분류 무관(region-agnostic) 영역 제안과 딥 러닝 기반의 시각적 주목도 지도를 융합하여, 카테고리 또는 인스턴스 수준의 감독 없이 단일 이미지에서 객체를 국소화하는 완전히 비지도 객체 국소화 방법을 제안한다. 이 방법은 단일 이미지 프레임만을 사용하여 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 다양한 조명 조건과 시점 조건을 포함하는 새로운 어려운 데이터셋을 통해 실제 환경 조건에서도 뛰어난 강인성을 보여준다.

ABSTRACT

In this paper we address the problem of unsupervised localization of objects in single images. Compared to previous state-of-the-art method our method is fully unsupervised in the sense that there is no prior instance level or category level information about the image. Furthermore, we treat each image individually and do not rely on any neighboring image similarity. We employ deep-learning based generation of saliency maps and region proposals to tackle this problem. First salient regions in the image are determined using an encoder/decoder architecture. The resulting saliency map is matched with region proposals from a class agnostic region proposal network to roughly localize the candidate object regions. These regions are further refined based on the overlap and similarity ratios. Our experimental evaluations on a benchmark dataset show that the method gets close to current state-of-the-art methods in terms of localization accuracy even though these make use of multiple frames. Furthermore, we created a more challenging and realistic dataset with multiple object categories and varying viewpoint and illumination conditions for evaluating the method's performance in real world scenarios.

연구 동기 및 목표

• 라벨이 부족하고 환경 조건이 다양해지는 실제 로봇 응용 시나리오에서 비지도 객체 국소화 문제를 해결한다.
• 이웃 이미지 간 유사성이나 사전 카테고리 정보에 의존하지 않고 단일 이미지에서 객체를 국소화할 수 있는 방법을 개발한다.
• 다양한 조명 조건과 시점 변화 하에 여러 객체 카테고리를 포함하는 현실적이고 다양한 데이터셋을 구축하여 실제 환경 성능 평가를 개선한다.
• 지도 학습 전훈에 의존하지 않고 의미적 주목도 지도와 영역 제안을 융합하여 비지도 국소화의 강인성을 향상시킨다.

제안 방법

• 의미 분할을 위해 훈련된 인코더/디코더 아키텍처를 사용하여 픽셀 단위의 주목도 지도를 생성하여 이미지의 주목할 만한 영역을 식별한다.
• 카테고리에 무관한 영역 제안 네트워크(RPN)를 사용하여 카테고리 감독 없이 후보 객체 영역을 식별한다.
• 높은 겹침과 높은 유사도 영역을 매칭하여 주목도 지도와 영역 제안을 융합하여 후보 객체 위치를 정밀화한다.
• 중복 제거 및 국소화 정밀도 향상을 위해 임계값 0.05를 사용한 비최대 억제(NMS)를 적용한다.
• 주목도 영역과 제안 영역 간의 겹침 비율과 유사도 비율을 활용하여 객체 후보를 정밀화하여 국소화 정확도를 향상시킨다.
• 소음 및 작은 무관 영역을 제거하기 위해 주목도 영역 최소 크기 기준을 300 픽셀²로 설정한다.

실험 결과

연구 질문

• RQ1 카테고리 또는 인스턴스 수준의 주석이 전혀 없이도 완전히 비지도 방법이 단일 이미지에서 객체를 국소화할 수 있는가?
• RQ2 주목도 지도와 영역 제안의 융합이 각각을 별도로 사용할 때보다 국소화 정확도를 얼마나 향상시키는가?
• RQ3 다양한 조명 조건과 시점 변화가 있는 실제 환경 조건으로 일반화되는 정도는 어느 정도인가?
• RQ4 특히 작은 객체나 시각적 주목도가 낮은 객체가 있는 다중 객체 장면에서 이 방법의 성능은 어떠한가?
• RQ5 다중 프레임 또는 약한 감독을 사용하는 최신 기술 대비 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• PASCAL VOC 2012 벤치마크에서 이 방법은 단일 이미지 프레임만을 사용하고 이웃 이미지 유사성도 고려하지 않음에도 불구하고 최신 기술 수준의 국소화 정확도를 달성한다.
• KTH Handtool 데이터셋에서 플라이어 카테고리는 인공 조명 조건 하에서 Camera 1로 촬영했을 때 가장 높은 국소화 정확도(63.7% CorLoc)를 기록했으며, 이는 표면이 무늬가 있는 데 기인할 수 있다.
• Camera 2에서 자연 조명 조건에서는 성능이 떨어졌으며, 해머의 경우 14.3%로 나타나 저조도 및 거리에 민감한 것으로 나타났다.
• Directional lighting(방향성 조명)은 Camera 2에서 드라이버의 국소화 정확도를 향상시켰다(31.0% CorLoc), 이는 조명 방향이 객체 표면 특성에 따라 성능에 영향을 미칠 수 있음을 시사한다.
• 다중 소형 객체에서는 문제가 발생하며, 표 2의 하단 행에서 볼 수 있듯이, 융합 편향으로 인해 흩어진 주목도 영역이 하나의 큰 영역으로 통합되는 경향이 있다.
• 해상도가 높은 Camera 1은 모든 카테고리에서 Camera 2를 능가하며, 평균 CorLoc 점수는 10~20%포인트 높게 나타나 이미지 품질과 시점의 영향을 명확히 보여준다.