[논문 리뷰] Weakly Supervised Top-down Salient Object Detection.

Hisham Cholakkal, Jubin Johnson외 1명|arXiv (Cornell University)|2016. 11. 16.

Visual Attention and Saliency Detection참고 문헌 53인용 수 3

한 줄 요약

이 논문은 픽셀 수준의 레이블 대신 이진 이미지 수준 레이블만을 사용하여 사전 지도 학습된 상향식 색소니티 프레임워크를 제안한다. 이는 백트래킹된 CNN 신뢰도 기여도를 활용하고, 선택된 하향식 색소니티 맵과 결합하여 색소니티 맵을 생성한다. 이는 네 가지 응용 분야에서 일곱 개의 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 비용이 많이 드는 지도 학습 방법에 비해 최소한의 지도 정보를 사용함에도 불구하고 슈퍼비전된 방법을 능가한다.

ABSTRACT

Top-down saliency models produce a probability map that peaks at target locations specified by a task/goal such as object detection. They are usually trained in a fully supervised setting involving pixel-level annotations of objects. We propose a weakly supervised top-down saliency framework using only binary labels that indicate the presence/absence of an object in an image. First, the probabilistic contribution of each image region to the confidence of a CNN-based image classifier is computed through a backtracking strategy to produce top-down saliency. From a set of saliency maps of an image produced by fast bottom-up saliency approaches, we select the best saliency map suitable for the top-down task. The selected bottom-up saliency map is combined with the top-down saliency map. Features having high combined saliency are used to train a linear SVM classifier to estimate feature saliency. This is integrated with combined saliency and further refined through a multi-scale superpixel-averaging of saliency map. We evaluate the performance of the proposed weakly supervised top-down saliency against fully supervised approaches and achieve state-of-the-art performance. Experiments are carried out on seven challenging datasets and quantitative results are compared with 36 closely related approaches across 4 different applications.

연구 동기 및 목표

• 픽셀 수준의 레이블 대신 이진 이미지 수준 레이블만을 요구하는 상향식 색소니티 검출 프레임워크를 개발하는 것.
• 이미지 영역이 분류기 신뢰도에 기여하는 확률적 기여도를 활용하여, 약한 지도 학습 환경에서 상향식 색소니티 학습을 가능하게 하는 것.
• 각 이미지에 적합한 하향식 색소니티 맵을 선택하고 상향식 색소니티와 조합하여 색소니티 맵의 품질을 향상시키는 것.
• 다중 척도 슈퍼픽셀 평균화를 통해 색소니티 예측을 정밀하게 다듬고, 고색소니티 특징에 선형 SVM을 학습시켜 국소화 정확도를 향상시키는 것.
• 최소한의 지도 정보를 사용하여 다양한 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여, 약한 지도 학습 접근법의 효과성을 입증하는 것.

제안 방법

• CNN 기반 이미지 분류기의 신뢰도 점수에 각 이미지 영역이 기여하는 정도를 역추적하여 상향식 색소니티를 계산한다.
• 상향식 작업과의 관련성을 기반으로 여러 빠른 하향식 접근 방식 중에서 가장 성능이 좋은 하향식 색소니티 맵을 선택한다.
• 선택된 하향식 색소니티 맵과 상향식 색소니티 맵을 조합하여 융합된 색소니티 맵을 생성한다.
• 고결합 색소니티 특징에 선형 SVM을 학습시켜 특징 수준의 색소니티를 추정하고 국소화 정확도를 향상시킨다.
• 다중 척도 슈퍼픽셀 평균화를 통해 최종 색소니티 맵을 정밀하게 다듬어 공간 일관성과 정밀도를 향상시킨다.
• 융합된 색소니티와 정밀화된 특징을 사용하여 약한 지도 학습을 통해 객체 존재 여부를 예측하는 분류기를 학습시킨다.

실험 결과

연구 질문

• RQ1 픽셀 수준의 레이블 대신 이진 이미지 수준 레이블만을 사용하여 상향식 색소니티 검출을 효과적으로 학습시킬 수 있는가?
• RQ2 이미지 영역이 분류기 신뢰도에 기여하는 방식을 어떻게 활용하여 약한 지도 학습 환경에서 의미 있는 상향식 색소니티 맵을 생성할 수 있는가?
• RQ3 상향식 색소니티와 하향식 색소니티를 어떻게 조합하여 국소화 정확도를 향상시킬 수 있는가?
• RQ4 슈퍼픽셀 기반 평균화가 약한 지도 학습 색소니티 맵의 품질과 강건성에 기여하는가?
• RQ5 제안된 프레임워크는 다양한 벤치마크 데이터셋에서 완전히 지도 학습된 방법과 비교해 최신 기술 수준의 성능을 달성하는가?

주요 결과

• 제안된 약한 지도 학습 상향식 색소니티 프레임워크는 일곱 개의 도전적인 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 네 가지 다른 응용 분야에서 36개의 유사한 접근 방식을 초월하여, 약한 지도 학습 조건에서도 강력한 일반화 능력을 입증한다.
• 백트래킹된 CNN 신뢰도에서 유도된 상향식 색소니티와 선택된 하향식 색소니티 맵의 융합은 국소화 정확도를 크게 향상시킨다.
• 색소니티 맵에 대한 다중 척도 슈퍼픽셀 평균화가 공간 일관성을 향상시키고 객체 경계 국소화 정확도를 정밀하게 다듬는다.
• 고결합 색소니티 특징에 선형 SVM을 학습시켜 최소한의 지도 정보로도 분류 가능한 패턴을 효과적으로 학습한다.
• 이중 이미지 수준 레이블만을 사용함에도 불구하고, 완전히 지도 학습된 방법과 경쟁 가능한 성능을 달성한다.