[논문 리뷰] Semantic and Contrast-Aware Saliency

Xiaoshuai Sun|arXiv (Cornell University)|2018. 11. 09.

Visual Attention and Saliency Detection참고 문헌 44인용 수 6

한 줄 요약

이 논문은 VGG-16 특징을 활용해 상향식 의미 주의를 제공하는 하나의 경로와 다중 척도 온라인 특징 학습을 통해 하향식 대비 감지 기능을 수행하는 다른 경로를 통해 의미 인식 및 대비 인식 신호를 통합하는 히우리스틱 색소니티 모델인 SCAFI를 제안한다. 이 모델은 다섯 개인 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 눈의 집중 예측과 심리물리적 타당성 면에서 고전적 및 딥 러닝 기반 방법들을 모두 능가한다.

ABSTRACT

In this paper, we proposed an integrated model of semantic-aware and contrast-aware saliency combining both bottom-up and top-down cues for effective saliency estimation and eye fixation prediction. The proposed model processes visual information using two pathways. The first pathway aims to capture the attractive semantic information in images, especially for the presence of meaningful objects and object parts such as human faces. The second pathway is based on multi-scale on-line feature learning and information maximization, which learns an adaptive sparse representation for the input and discovers the high contrast salient patterns within the image context. The two pathways characterize both long-term and short-term attention cues and are integrated dynamically using maxima normalization. We investigate two different implementations of the semantic pathway including an End-to-End deep neural network solution and a dynamic feature integration solution, resulting in the SCA and SCAFI model respectively. Experimental results on artificial images and 5 popular benchmark datasets demonstrate the superior performance and better plausibility of the proposed model over both classic approaches and recent deep models.

연구 동기 및 목표

• 더 정확한 눈의 집중 예측을 위해 의미(상향식) 및 대비(하향식) 신호를 효과적으로 통합하는 색소니티 모델을 개발하는 것.
• 기존 딥 러닝 모델이 의미 객체에 과적합되고 국소적 대비 패턴을 포착하지 못하는 한계를 극복하는 것.
• 의미 경로 학습을 위한 대규모 눈의 집중 데이터에 의존하지 않는 학습이 필요 없는 히우리스틱 프레임워크를 설계하는 것.
• 객체 수준의 주의가 아닌 인위적 및 자연스러운 주목 패턴에 대해 생물학적으로 타당한 반응을 생성하도록 보장하는 것.

제안 방법

• 모델은 이중 경로 아키텍처를 사용한다: 하나의 경로는 사전 훈련된 VGG-16 네트워크의 conv5 레이어에서 의미 특징을 추출하여 상향식 색소니티를 생성한다.
• 다른 경로는 정보 최대화 기반 다중 척도 온라인 특징 학습을 활용해 적응형 희소 표현을 발견하고 고대비 주목 패턴을 탐지한다.
• 의미 특징과 대비 특징은 최댓값 정규화를 통해 동적으로 통합되어 장기적 및 단기적 주의 신호를 균형 있게 조절한다.
• SCAFI 변형은 의미 경로 학습을 위해 추가적인 레이블 데이터가 필요 없도록 VGG-16의 특징을 직접 풀링한다.
• 의미 특징과 대비 특징을 융합하기 위해 가중치 퓨전 전략(SAS 가중치)을 사용하며, 최적의 성능은 conv5 반응(w₅)을 사용할 때 달성된다.
• 프레임워크는 다섯 개의 벤치마크 데이터셋에서 sAUC 점수를 사용해 평가되며, 인위적 주목 패턴에 대한 테스트를 통해 생물학적 타당성을 평가한다.

실험 결과

연구 질문

• RQ1 의미 주의(상향식)와 대비 감지(하향식)를 효과적으로 통합하는 통합 색소니티 모델이 눈의 집중 예측 성능을 향상시킬 수 있는가?
• RQ2 VGG 특징과 적응형 희소 코딩을 히우리스틱 방식으로 통합한 학습이 없는 프레임워크가 엔드 투 엔드 딥 러닝 모델보다 색소니티 추정 성능에서 뛰어나게 되는가?
• RQ3 제안된 모델이 최신 기술 수준의 모델들과 비교해 사전주의 시각 패턴과 고대비 자극에 얼마나 잘 반응하는가?
• RQ4 다양한 데이터셋에서 성능을 최대화하기 위해 의미 특징과 대비 특징 간 최적의 융합 전략은 무엇인가?

주요 결과

• SCAFI는 PASCAL-Part 데이터셋에서 평균 sAUC 점수 0.7238을 기록하여 DPN 및 DeepGazeII를 모두 능가한다.
• Bruce 데이터셋에서 SCAFI는 w₅를 사용해 sAUC 0.7378을 기록하였으며, SCA 및 DPN을 포함한 모든 테스트된 모델 중에서 가장 높은 성능을 보였다.
• SCAFI는 인위적 자극(예: 닫힘, 질감 대비)에서 주목 패턴을 성공적으로 국소화하여 DPN 및 DeepGazeII와 비교해 더 뛰어난 심리물리적 타당성을 보였다.
• w₁ 및 w₂ 가중치를 사용한 모델은 눈의 집중 예측에는 최적은 아니지만, 주목 패턴에 대해 가장 시각적으로 타당한 반응을 보였다.
• SCAFI는 모든 다섯 개의 벤치마크 데이터셋에서 이전의 SCA 모델을 능가하며, 미세조정된 의미 경로가 아닌 직접 VGG 특징 추출 방식의 유용성을 확인한다.
• 적응형 희소 코딩(CAS)과 conv5 특징(SAS)을 w₅를 통해 융합한 모델이 가장 뛰어난 전체 성능을 보였으며, 모든 데이터셋에서 sAUC 점수가 일관되게 0.70 이상을 기록했다.