[논문 리뷰] Weakly Supervised Learning for Salient Object Detection using Background Images.

Huaizu Jiang|arXiv (Cornell University)|2015. 01. 29.

Visual Attention and Saliency Detection참고 문헌 40인용 수 4

한 줄 요약

이 논문은 픽셀 수준의 레이블 대신 이미지 수준의 레이블(유명 객체의 존재/부재)만을 사용하여 유명 객체 검출을 위한 두 가지 약한 지도 학습 방법을 제안한다. 이는 비용이 많이 드는 픽셀 수준의 레이블링을 피하기 위한 것이다. 첫 번째 방법은 배경 슈퍼픽셀에 대해 일종의 서포트 벡터 머신(SVM)을 적용하여 유명 영역을 식별하는 것이며, 두 번째 방법은 슈퍼픽셀 레이블을 은닉 변수로 삼아 유명 객체 검출 문제를 잠재 구조적 SVM 문제로 공식화하여, 모든 이미지에 유명 객체가 포함되어 있지 않은 경우에도 우수한 성능을 달성한다.

ABSTRACT

Recent advances of supervised salient object detection models demonstrate significant performance on benchmark datasets. Training such models, however, requires expensive pixel-wise annotations of salient objects. Moreover, many existing salient object detection models assume that at least a salient object exists in the input image. Such an impractical assumption leads to less appealing saliency maps on the background images, which contain no salient objects at all. To avoid expensive strong saliency annotations, in this paper, we study weakly supervised learning approaches for salient object detection. In specific, given a set of background images and/or salient object images, where we only have annotations of salient object existence, we propose two approaches to train salient object detection models. In the first approach, we train a one-class SVM based on background superpixels. The further a superpixel is from the decision boundary of the one-class SVM, the more salient it is. The most interesting property of this approach is that we can effortlessly synthesize a set of background images to train the model. In the second approach, we present a solution toward jointly addressing salient object existence and detection tasks. We formulate salient object detection as an image labeling problem, where saliency labels of superpixels are modeled as hidden variables in the latent structural SVM framework. Experimental results on benchmark datasets validate the effectiveness of our proposed approaches.

연구 동기 및 목표

• 픽셀 수준의 레이블링 비용이 높은 유명 객체 검출 문제를 해결하기 위해 이미지 수준의 지도 학습만을 활용하는 것.
• 유명 객체가 존재하지 않는 배경 이미지에서 효과적인 유명도 검출을 가능하게 하여 기존 모델의 한계를 극복하는 것.
• 유명 객체 존재 여부 레이블만을 사용하여 강건한 유명 객체 검출 모델을 훈련시키는 약한 지도 학습 방법을 개발하는 것.
• 실제로 레이블이 부여된 데이터가 필요 없이 실제 데이터를 기반으로 배경 이미지를 합성하여 훈련에 활용할 수 있는지 탐색하는 것.
• 구조적 예측 프레임워크 내에서 잠재 변수 구조를 활용해 유명 객체 존재 여부와 검출를 동시에 모델링하는 것.

제안 방법

• 배경 이미지에서 추출한 슈퍼픽셀에 대해 일종의 서포트 벡터 머신(SVM)을 훈련시어 배경과 유명 영역를 분리하는 결합 경계를 학습하는 것.
• 각 슈퍼픽셀이 일종의 서포트 벡터 머신(SVM) 결합 경계에서 떨어진 거리를 유명도 점수로 사용하며, 거리가 클수록 유명도가 높음을 의미한다.
• 실제 배경 이미지를 변형하여 인위적인 배경 이미지를 생성함으로써 레이블이 필요 없이 훈련 데이터를 증강하는 것.
• 유명 객체 검출 문제를 잠재 구조적 서포트 벡터 머신(SVM) 문제로 공식화하며, 슈퍼픽셀 수준의 유명도 레이블을 은닉 변수로 모델링하는 것.
• 이미지 수준의 지도 학습을 기반으로 유명도 맵을 동시에 예측하고 은닉 유명도 레이블을 추론하는 구조적 예측 프레임워크를 사용해 모델을 최적화하는 것.
• 약한 지도 학습 설정을 처리하기 위해 양성 및 부정성 구성 간의 마진을 최대화하는 구조적 서포트 벡터 머신(SVM) 프레임워크를 활용하는 것.

실험 결과

연구 질문

• RQ1 픽셀 수준의 레이블이 전혀 없이도 슈퍼픽셀에 대해 일종의 서포트 벡터 머신(SVM)이 효과적으로 유명 영역를 식별할 수 있는가?
• RQ2 합성된 배경 이미지가 약한 지도 학습 기반 유명 객체 검출 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ3 잠재 구조적 서포트 벡터 머신(SVM)을 통해 유명 객체 존재 여부와 검출를 동시에 모델링하면 이미지 수준의 레이블만으로도 경쟁적인 성능을 달성할 수 있는가?
• RQ4 기존의 완전 지도 학습 기반 기준 모델과 비교해 본다면, 제안된 방법은 기준 데이터셋에서 특히 유명 객체가 존재하지 않는 이미지에서 어떻게 성능을 내는가?
• RQ5 구조적 서포트 벡터 머신(SVM) 내의 잠재 변수 공식화가 약한 지도 학습에서 슈퍼픽셀 수준의 유명도 레이블을 효과적으로 복원할 수 있는가?

주요 결과

• 일종의 서포트 벡터 머신(SVM) 방법은 결합 경계에서의 슈퍼픽셀 거리를 유명도 점수로 사용함으로써 경쟁적인 유명도 검출 성능를 달성한다.
• 이미지 변형을 통해 생성된 인위적 배경 이미지는 모델의 일반화 능력과 강건성을 크게 향상시킨다.
• 잠재 구조적 서포트 벡터 머신(SVM) 프레임워크는 유명 객체 존재 여부 레이블만을 사용하여도 효과적으로 유명도 맵을 예측하는 데 성공했다.
• 제안된 방법들은 기존의 약한 지도 학습 기반 기준 모델보다 표준 기준 데이터셋에서 더 뛰어난 성능를 보였으며, 테스트 이미지에 유명 객체가 존재하지 않는 경우에도 마찬가지로 성능이 뛰어났다.
• 모델은 배경 이미지에서 높은 성능를 유지하며, 존재하지 않는 객체에 대해 타당하고 비유명도 맵을 생성하는 반면, 이전 방법들은 이를 달성하지 못했다.
• 정량적 결과는 유명도 맵 예측과 존재 여부 예측을 동시에 모델링하는 통합 프레임워크가 PASCAL-S 및 DUT-OS-5K에서 완전 지도 학습 모델과 비교해 유사한 F-측정값을 달성함을 보여주었다.