[논문 리뷰] Visual saliency estimation by integrating features using multiple kernel learning

Yasin Kavak, Erkut Erdem외 1명|arXiv (Cornell University)|2013. 07. 22.

Visual Attention and Saliency Detection참고 문헌 46인용 수 8

한 줄 요약

이 논문은 다중 커널 학습(MKL)-기반 프레임워크를 제안하여 저수준 시각적 특징과 ObjectBank 필터 백에서 유도된 고수준 객체 특징을 통합함으로써 시각적 주목도 추정을 수행한다. MKL을 활용해 특징 조합을 적응적으로 수행하고, 대규모 객체 검출기 집합으로부터의 의미론적 반응을 통합함으로써 최신 기술 수준(SOTA)의 성능을 달성하였으며, MIT1003 및 토리onto 데이터셋에서 AUC 점수 0.841과 0.836을 기록하여 SVM 및 AdaBoost 기반 모델을 능가하였다.

ABSTRACT

In the last few decades, significant achievements have been attained in predicting where humans look at images through different computational models. However, how to determine contributions of different visual features to overall saliency still remains an open problem. To overcome this issue, a recent class of models formulates saliency estimation as a supervised learning problem and accordingly apply machine learning techniques. In this paper, we also address this challenging problem and propose to use multiple kernel learning (MKL) to combine information coming from different feature dimensions and to perform integration at an intermediate level. Besides, we suggest to use responses of a recently proposed filterbank of object detectors, known as Object-Bank, as additional semantic high-level features. Here we show that our MKL-based framework together with the proposed object-specific features provide state-of-the-art performance as compared to SVM or AdaBoost-based saliency models.

연구 동기 및 목표

• 다양한 시각적 특징의 기여도를 전체 주목도 예측에 최적화하는 데 있어 열려 있는 문제를 해결하기 위해.
• 다중 커널 학습(MKL)을 활용해 특징 맵의 비선형적이고 적응적인 융합을 통해 주목도 모델의 특징 통합을 향상시키기 위해.
• ObjectBank과 같은 대규모 객체 전용 필터 백을 고수준 의미론적 특징으로 활용하여 상향식 주목의 조절을 모델링하고자 하였다.
• 전체 특징 세트와 객체 수준의 특징만을 사용한 경우에 대해 MKL 기반 융합의 효과를 평가하고, 기존의 학습 기반 모델과의 성능 비교를 위해

제안 방법

• 주목도 추정을 지표 눈동자 위치 데이터를 학습 레이블로 사용하는 지도 학습 문제로 설정한다.
• 특징 맵의 최적 비선형 조합을 학습하기 위해, 특히 정규화된 블록 다중 커널 학습(RBMKL)을 활용한 다중 커널 학습(MKL) 변종을 적용한다.
• 저수준 시각적 특징(강도, 색상, 방향성)은 가우시안 차분을 통한 중심-둘레 차이를 통해 추출되며, 다양한 스케일에서 특징 맵을 생성한다.
• 고수준 의미론적 특징은 100개 이상의 객체 카테고리에 대해 검출기 반응을 제공하는 ObjectBank 필터 백에서 유도된다.
• MKL 프레임워크는 서로 다른 특징 유형에 해당하는 커널 행렬의 가중 조합을 학습하여, 단순 선형 합산을 초월한 민감한 통합을 가능하게 한다.
• 모델은 허용 오차 손실 함수를 사용하는 구조적 서포트 벡터 머신(SVM) 기반으로 학습되며, 픽셀 수준의 주목도 레이블에 대한 분류 정확도를 최적화한다.

실험 결과

연구 질문

• RQ1 비선형적이고 적응적인 다양한 시각적 특징 융합을 가능하게 하는 다중 커널 학습(MKL)이 선형 방법에 비해 주목도 예측 성능을 향상시키는가?
• RQ2 대규모 필터 백(ObjectBank)에서 유도된 객체 전용 특징은 주목도 추정에 얼마나 효과적인가, 특히 독립적으로 사용할 경우에?
• RQ3 제안된 MKL 기반 프레임워크가 기존의 전통적인 학습 기반 모델(SVM 및 AdaBoost)을 능가하는가?
• RQ4 고수준 객체 반응은 주목도 예측에 얼마나 기여하는가, 그리고 전통적인 하향식 모델과 비교해 유사한 성능을 달성할 수 있는가?
• RQ5 MKL의 융합 전략은 특징 간 의존성과 예측 정확도 측면에서 초기 융합 또는 후기 융합과 비교해 어떻게 다른가?

주요 결과

• RBMKL 기반 모델은 MIT1003 데이터셋에서 AUC 점수 0.841을 기록하여, SVM(0.821), AdaBoost(0.808), NLMKL(0.821)을 포함한 모든 기준 모델을 능가하였다.
• 토리onto 데이터셋에서 RBMKL 모델은 전체 특징을 사용할 경우 AUC 0.836을 달성하였으며, 이는 다음으로 우수한 성능을 보인 SVM(0.821)을 뛰어넘었고, 오직 객체 수준 특징만을 사용한 모델보다도 뚜렷하게 뛰어났다.
• 오직 ObjectBank 기반 특징만을 사용할 경우에도 RBMKL 모델는 토리onto 데이터셋에서 AUC 0.736을 기록하였으며, 전통적인 Itti 등의 하향식 모델(AUC 0.741)과 유사한 성능을 보였다.
• MIT1003에서 오직 객체 수준 특징만을 사용한 경우 AUC는 0.752를 기록하였으며, 이는 객체 특징이 주목도 예측에 매우 유용한 정보를 제공한다는 것을 시사한다.
• 반복 실험에서 성능의 표준편차가 낮은 것으로 나타나, 제안된 MKL 프레임워크는 선형 방법에 비해 더 우수한 일반화 능력과 강건성을 보였다.
• RBMKL을 사용한 전체 특징 기반 주목도 예측은 그림 3과 4의 정성적 비교를 통해 객체 주변에서 더 정확한 주목 영역의 국소화를 보였다.