[논문 리뷰] Saliency Prediction in the Deep Learning Era: An Empirical Investigation.

Ali Borji|arXiv (Cornell University)|2018. 10. 08.

Visual Attention and Saliency Detection인용 수 46

한 줄 요약

이 논문은 딥 러닝 기반 시각적 주목 모델에 대한 종합적인 실증적 조사 수행하며, 다양한 이미지 및 비디오 벤치마크에서의 성능을 평가한다. 모델 예측과 인간의 주목 간 지속적인 격차를 규명하고, 실패 원인을 분석하며, 차세대 주목 모델을 위한 핵심 과제와 방향을 제시한다.

ABSTRACT

Visual saliency models have enjoyed a big leap in performance in recent years, thanks to advances in deep learning and large scale annotated data. Despite enormous effort and huge breakthroughs, however, models still fall short in reaching human-level accuracy. In this work, I explore the landscape of the field emphasizing on new deep saliency models, benchmarks, and datasets. A large number of image and video saliency models are reviewed and compared over two image benchmarks and two large scale video datasets. Further, I identify factors that contribute to the gap between models and humans and discuss remaining issues that need to be addressed to build the next generation of more powerful saliency models. Some specific questions that are addressed include: in what ways current models fail, how to remedy them, what can be learned from cognitive studies of attention, how explicit saliency judgments relate to fixations, how to conduct fair model comparison, and what are the emerging applications of saliency models.

연구 동기 및 목표

• 표준 벤치마크를 활용하여 딥 러닝 기반 시각적 주목 모델의 현재 상태를 평가하기.
• 기존 모델이 인간의 시각적 주목을 예측하는 데 나타나는 체계적 실패 원인을 규명하기.
• 명시적 주목 평가와 눈의 정지 데이터 간의 관계를 탐색하기.
• 이미지 및 비디오 데이터셋 간의 주목 모델 간 공정한 비교 프로토콜 수립하기.
• 주목 모델링 분야의 열린 과제와 새로운 적용 분야를 부각하기.

제안 방법

• 연구는 두 개의 이미지 벤치마크와 두 개의 대규모 비디오 데이터셋에서 최신의 딥 주목 모델들을 검토하고 비교한다.
• 공정하고 재현 가능한 모델 비교를 보장하기 위해 표준화된 평가 지표를 활용한다.
• 인지 과학의 통찰을 활용하여 모델 예측과 인간의 정지 패턴 간 격차를 해석한다.
• 다양하고 대규모의 주석이 달린 데이터셋을 활용해 이미지 및 비디오 주목 모델을 평가한다.
• 모델 유효성을 평가하기 위해 명시적 주목 주석과 눈 트래킹 정지 데이터 간의 일치성 여부를 조사한다.
• 모델 일반화 및 내구성의 반복적인 약점들을 규명하기 위해 체계적인 실패 분석을 포함한다.

실험 결과

연구 질문

• RQ1 현재의 딥 주목 모델은 인간의 정지 패턴을 정확히 예측하지 못하는 방식으로 어떤 실패를 겪고 있는가?
• RQ2 명시적 주목 평가와 실제 인간의 눈 움직임 및 정지는 어떤 관계가 있는가?
• RQ3 딥 러닝 모델과 인간 관찰자 간 성능 격차를 초래하는 요인는 무엇인가?
• RQ4 다양한 데이터셋과 평가 프로토콜 간에 모델 비교를 어떻게 공정하고 의미 있게 수행할 수 있는가?
• RQ5 주의의 인지 과학적 통찰은 더 인간 중심의 주목 모델 설계에 어떤 통찰을 제공하는가?

주요 결과

• 상당한 진전에도 불구하고, 딥 주목 모델들은 여전히 인간 수준의 정확도로 시각적 주목을 예측하지 못하고 있다.
• 특히 비디오 환경에서 복잡한 장면, 가림, 동적 콘텐츠 처리에 있어 체계적인 실패를 보이고 있다.
• 명시적 주목 주석과 정지 데이터 간에 뚜렷한 격차가 존재하여, 모든 주목 주석이 주목을 포괄하는 데 동일하게 기여하지는 않는다는 점을 시사한다.
• 평가 프로토콜의 일관성 부족과 데이터셋 편향으로 인해 공정한 모델 비교가 어렵다.
• 인지 과학의 통찰은 인간의 주의 메커니즘이 상향식과 하향식 통합을 포함하며, 현재의 모델들이 이를 효과적으로 모방하지 못하고 있음을 드러낸다.
• 주목 모델의 새로운 적용 분야로는 시각적 분석, 로봇공학, 인간-컴퓨터 상호작용 등이 있으며, 실용적 중요성이 점점 증가하고 있음을 시사한다.