[논문 리뷰] DeepFeat: A Bottom Up and Top Down Saliency Model Based on Deep Features of Convolutional Neural Nets

Ali Mahdi, Jun Qin|arXiv (Cornell University)|2017. 09. 08.

Visual Attention and Saliency Detection참고 문헌 38인용 수 9

한 줄 요약

이 논문은 사전 훈련된 합성곱 신경망(CNN) 특징을 사용하여 하향식 및 상향식 시각적 자극을 통합하는 DeepFeat라는 색소성 모델을 제안한다. 저수준의 에지 및 텍스처 특징과 더 깊은 CNN 레이어에서 유도된 고수준 의미론적 표현을 결합함으로써, DeepFeat는 MIT1003 데이터셋에서 네 가지 평가 지표에서 최신 기술 수준의 성능을 달성하여 종합적으로 두 번째로 높은 순위를 기록하며, 개별 하향식 및 상향식 접근 방식을 초월한다.

ABSTRACT

A deep feature based saliency model (DeepFeat) is developed to leverage the understanding of the prediction of human fixations. Traditional saliency models often predict the human visual attention relying on few level image cues. Although such models predict fixations on a variety of image complexities, their approaches are limited to the incorporated features. In this study, we aim to provide an intuitive interpretation of convolu- tional neural network deep features by combining low and high level visual factors. We exploit four evaluation metrics to evaluate the correspondence between the proposed framework and the ground-truth fixations. The key findings of the results demon- strate that the DeepFeat algorithm, incorporation of bottom up and top down saliency maps, outperforms the individual bottom up and top down approach. Moreover, in comparison to nine 9 state-of-the-art saliency models, our proposed DeepFeat model achieves satisfactory performance based on all four evaluation metrics.

연구 동기 및 목표

• 기존 색소성 모델가 수작업으로 설계된 저수준 특징에 의존하고 임의의 작업 기반 주의를 포착하지 못하는 한계를 해결하기 위해.
• 사전 훈련된 딥 특징에서 유도된 저수준 및 고수준 시각적 자극을 활용하는 해석 가능한 프레임워크를 제공하기 위해.
• 딥 특징을 사용하여 하향식(자극 기반) 및 상향식(목표 기반) 주의 메커니즘을 통합함으로써 색소성 예측을 향상시키기 위해.
• MIT1003 벤치마크에서 표준 평가 지표를 다수 사용하여 제안된 모델을 최신 기술 수준의 색소성 모델들과 비교하기 위해.
• 다양한 CNN 레이어에서 유도된 딥 특징의 통합이 색소성 예측의 정확성과 강건성 향상에 기여함을 입증하기 위해.

제안 방법

• 모델은 사전 훈련된 CNN의 다수의 레이어에서 딥 특징을 추출하며, 합성곱, 배치 정규화 및 풀링 레이어의 활성화 맵을 시각적 자극으로 사용한다.
• 하향식 색소성은 초기 CNN 레이어에서 계산되며, 에지, 색상 및 강도 대비와 같은 저수준 특징을 포착한다.
• 상향식 색소성은 더 깊은 CNN 레이어에서 유도되며, 객체 카테고리 및 환경 맥락과 같은 고수준 의미 정보를 포함한다.
• 최종 색소성 맵은 하향식 및 상향식 맵을 학습된 또는 고정된 가중치 전략을 사용해 융합함으로써 생성된다.
• 인간의 시선 패턴과 일치시키기 위해 중심 편향을 예측에 통합함으로써, 참값 시선과의 상관관계를 향상시킨다.
• 모델 평가는 MIT1003 데이터셋에서 네 가지 지표(AUC, AUC Borji, CC, KL 발산)를 사용하여 수행된다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN에서 유도된 딥 특징이 하향식 및 상향식 시각적 주의 구성 요소를 효과적으로 표현할 수 있는가?
• RQ2 딥 특징에서 유도된 하향식 및 상향식 색소성 맵을 융합함으로써 개별 접근 방식보다 시선 예측 정확도가 향상되는가?
• RQ3 DeepFeat 모델은 여러 평가 지표에서 9개의 최신 기술 수준 색소성 모델과 비교해 어떻게 성능을 내는가?
• RQ4 중심 편향을 통합함으로써 DeepFeat 모델의 성능 향상 정도는 어느 정도인가?
• RQ5 다양한 수준의 딥 특징 통합이 더 해석 가능하고 강건한 색소성 예측을 이끌 수 있는가?

주요 결과

• 중심 편향 통합을 포함한 DeepFeat 모델은 자체 버전 중에서 가장 높은 성능을 기록했으며, 중심 편향을 통합하지 않은 구현보다 뛰어난 성능을 보였다.
• MIT1003 데이터셋에서 AUC 및 AUC Borji 기준으로 DeepFeat는 10개의 색소성 모델 중 두 번째로 높은 순위를 기록했으며, eDN 모델을 제외하고는 유일하게 앞선 순위를 기록했다.
• CC 점수는 0.728을 기록하여 10개의 모델 중 두 번째로 높은 순위를 기록했으며, 인간의 시선 맵과 강한 상관관계를 보였다.
• KL 발산 평가에서 DeepFeat는 네 번째 순위를 기록했으며, GBVS, ML-Net 및 UHF가 더 높은 순위를 기록했기에 예측 영역이 略로 넓은 편이었다.
• 이미지당 약 150초의 시간이 소요되어 고품질의 색소성 예측에 대해 중간 수준의 계산 비용을 유발했다.
• 결과적으로, 저수준 및 고수준 CNN 레이어에서 유도된 딥 특징을 통합함으로써 기존 모델 대비 색소성 예측 성능이 크게 향상됨을 확인했다.