[논문 리뷰] Saliency Prediction in the Deep Learning Era: Successes, Limitations, and Future Challenges

Ali Borji|arXiv (Cornell University)|2018. 10. 08.

Visual Attention and Saliency Detection참고 문헌 143인용 수 24

한 줄 요약

이 논문은 딥 러닝 기반 시각적 주목 모델을 종합적으로 검토하며, 성공 사례, 한계점, 향후 과제를 분석한다. 대규모 이미지 및 영상 벤치마크에서 정적 및 동적 주목 모델을 광범위하게 평가하여 주요 실패 원인, 평가 오류, 그리고 보다 나은 데이터, 다중 모odal 입력, 정교한 평가 지표를 통한 향상 기회를 규명한다. 일부 경우에서는 성능이 인간 수준 정확도에 가까워졌음에도 불구하고.

ABSTRACT

Visual saliency models have enjoyed a big leap in performance in recent years, thanks to advances in deep learning and large scale annotated data. Despite enormous effort and huge breakthroughs, however, models still fall short in reaching human-level accuracy. In this work, I explore the landscape of the field emphasizing on new deep saliency models, benchmarks, and datasets. A large number of image and video saliency models are reviewed and compared over two image benchmarks and two large scale video datasets. Further, I identify factors that contribute to the gap between models and humans and discuss remaining issues that need to be addressed to build the next generation of more powerful saliency models. Some specific questions that are addressed include: in what ways current models fail, how to remedy them, what can be learned from cognitive studies of attention, how explicit saliency judgments relate to fixations, how to conduct fair model comparison, and what are the emerging applications of saliency models.

연구 동기 및 목표

• 최근 딥 러닝의 발전과 대규모 애너테이션 데이터의 진전을 배경으로 현재의 딥 시각적 주목 모델의 상태를 평가하기 위해.
• 표준 벤치마크에서 높은 성능을 보임에도 불구하고, 모델 예측과 인간의 시선 집중 패tern 간 지속적인 격차를 규명하기 위해.
• 기존 주목 평가 지표의 효과성을 평가하고, 더 정교한 모델 비교를 위한 개선안을 제안하기 위해.
• 다중 모달 데이터(예: 음성, 시선 방향)와 향상된 데이터셋이 모델의 일반화 및 성능 향상에 어떻게 기여할 수 있는지 탐색하기 위해.
• 주목 모델의 해석 가능성, 평가, 적용 분야에서의 열린 과제를 규명하여 향후 연구를 이끌기 위해.

제안 방법

• 두 개의 이미지 벤치마크와 두 개의 대규모 영상 데이터셋을 바탕으로 수많은 딥 주목 모델에 대한 체계적 검토와 정량적 비교를 수행하였다.
• 모델 성능 평가 및 미세한 성능 차이 탐지에 사용된 다중 평가 점수(예: AUC, NSS, SIM, KL, IG)의 활용.
• 주의 메커니즘을 탐구하기 위해 '팝아웃 배열'과 '이상자 시나리오'와 같은 심리물리적 자극을 통한 모델 실패 원인 분석.
• 중심 편향과 맵 스무딩이 평가 지표에 미치는 영향을 조사하고, 민감도를 줄이기 위한 조정 방법 제안.
• 시선 방향, 음성, 캡션 데이터를 주목 모델에 통합하여 다중 작업 및 다중 모달 학습 탐색.
• 주목 특징 학습의 특수성 이해를 위해 딥 주목 모델이 학습한 표현과 객체 인식 네트워크의 표현을 비교 분석.

실험 결과

연구 질문

• RQ1 표준 벤치마크에서 높은 성능을 보임에도 불구하고, 현재의 딥 주목 모델이 인간의 시선을 예측하지 못하는 방식은 무엇인가?
• RQ2 상위 성능을 보이는 주목 모델 간의 미세한 성능 차이를 더 정확히 식별할 수 있도록 평가 절차를 어떻게 개선할 수 있는가?
• RQ3 명시적 주목 판단(예: 클릭 기반)이 실제 눈동자 움직임과 얼마나 일치하는가? 이는 모델 훈련에 어떻게 기여할 수 있는가?
• RQ4 다중 모달 데이터(예: 음성, 시선 방향, 캡션)가 시각적 입력 외의 요소로 주목 예측 성능 향상에 기여할 수 있는 역할은 무엇인가?
• RQ5 어떻게 하면 주목 모델을 더 해석 가능하게 만들고 주목의 인지적 원리와 더 잘 일치시킬 수 있는가?

주요 결과

• 일부 모델에서는 표준 벤치마크에서 인간 간 상호 관찰자 일致도에 매우 가까운 성능을 달성했으며, 일부 모델는 인간의 시선 지도와 거의 구분되지 않았다.
• 높은 성능에도 불구하고, 특히 의미적 또는 맥락적 단서에 의해 주목이 유도되는 복잡하거나 모호한 시나리오에서는 여전히 인간보다 성능이 열 劣하다.
• AUC, NSS, SIM과 같은 평가 지표는 가장 대표적인 지표이지만, 맵 스무딩과 중심 편향에 대한 민감도는 공정한 비교에 있어 여전히 심각한 문제이다.
• 시선 방향 또는 음성 신호를 통합하면 영상 주목 예측 성능이 뚜렷이 향상되며, 이는 작업 관련 사전 지식의 가치를 시사한다.
• 다중 레이블 및 다중 모달 데이터셋(예: 시선, 캡션, VQA 애너테이션을 통합한 자료)은 모델의 일반화 능력을 향상시키고 주목 메커니즘에 대한 통찰을 제공할 수 있다.
• 딥 네트워크 내에서 주목이 어떻게 유도되는지에 대한 해석 가능성 부족은 여전히 핵심적인 열린 과제이며, 다양한 네트워크 헤드의 특징 표현 이해 역시 주요 과제로 남아 있다.