[논문 리뷰] What Do Deep Saliency Models Learn about Visual Attention?

Shi Chen, Ming Jiang외 1명|arXiv (Cornell University)|2023. 10. 14.

Visual Attention and Saliency Detection인용 수 5

한 줄 요약

이 논문은 깊이 있는 사전주의 모델의 암묵적 특징을 해석 가능한 의미 기반으로 분해하고, 확률 맵의 가중 조합을 통해 사전주의 예측에 기여하는 정도를 정량화함으로써, 깊이 있는 사전주의 모델을 분석하는 새로운 분석 프레임워크를 제안한다. 이 방법은 모델이 의미에 대해 양의 및 음의 가중치를 어떻게 할당하는지 밝혀내며, 실패 패턴을 규명하고 자폐 스펙트럼 장애, 정서, 시간에 따른 동적 변화와 같은 특수한 맥락에서 인간의 주의 패턴을 분석할 수 있게 한다. 아울러 최소한의 아키텍처 수정으로 최신 기술 수준의 성능을 유지한다.

ABSTRACT

In recent years, deep saliency models have made significant progress in predicting human visual attention. However, the mechanisms behind their success remain largely unexplained due to the opaque nature of deep neural networks. In this paper, we present a novel analytic framework that sheds light on the implicit features learned by saliency models and provides principled interpretation and quantification of their contributions to saliency prediction. Our approach decomposes these implicit features into interpretable bases that are explicitly aligned with semantic attributes and reformulates saliency prediction as a weighted combination of probability maps connecting the bases and saliency. By applying our framework, we conduct extensive analyses from various perspectives, including the positive and negative weights of semantics, the impact of training data and architectural designs, the progressive influences of fine-tuning, and common failure patterns of state-of-the-art deep saliency models. Additionally, we demonstrate the effectiveness of our framework by exploring visual attention characteristics in various application scenarios, such as the atypical attention of people with autism spectrum disorder, attention to emotion-eliciting stimuli, and attention evolution over time. Our code is publicly available at \url{https://github.com/szzexpoi/saliency_analysis}.

연구 동기 및 목표

• 깊이 있는 사전주의 모델이 학습한 암묵적 특징과 인간의 시각적 주의를 예측하는 데서 그 역할을 이해하는 것.
• 의미적 속성의 사전주의 예측에 대한 기여도를 정량화하는 원칙적이고 해석 가능한 프레임워크를 개발하는 것.
• 훈련 데이터, 모델 아키텍처, 미세조정이 사전주의 모델의 의미적 가중치에 미치는 영향을 조사하는 것.
• 자폐 스펙트럼 장애, 정서 자극, 시간에 따른 주의의 변화와 같은 특수 맥락에서 인간의 주의 특성 분석하는 것.
• 최신 기술 수준의 사전주의 모델에서 공통적으로 나타나는 실패 패턴을 규명하고 통합된 특징 통합을 위한 개선 방안을 제안하는 것.

제안 방법

• 프레임워크는 Visual Genome 데이터셋에서 유래한 세밀한 속성과 정렬된 훈련 가능한 해석 가능한 의미 기반으로 깊이 있는 사전주의 모델의 내부 특징을 분해한다.
• 사전주의 예측을 각 맵이 특정 의미 기반의 존재를 나타내는 확률 맵의 가중 조합으로 재정의한다.
• 의미적 관련성은 학습된 기반과 의미 속성 간의 정렬 정도를 측정하여 정량화하며, 이는 양의 및 음의 가중치의 해석을 가능하게 한다.
• 성능을 원본 모델과 동등하게 유지하기 위해 최소한의 아키텍처 수정(마지막 두 레이어에 국한)을 도입한다.
• 각 의미 기반의 사전주의에 미치는 영향을 정량화하기 위해 확률적 방법을 사용하여 모델 행동의 체계적 분석을 가능하게 한다.
• 이 프레임워크는 SALICON, DINet, TranSalNet 등의 모델에서 추론 과정, 미세조정 동적 변화, 실패 케이스 분석에 적용된다.

Figure 1: Illustration of our method. It factorizes implicit features into trainable bases, and interprets the meanings of bases by aligning them with diverse semantics. Each basis can be interpreted as a weighted combination of semantics ( e.g., face, female, and happy). By reformulating the salien

실험 결과

연구 질문

• RQ1 깊이 있는 사전주의 모델은 양의 및 음의 가중치를 통해 어떻게 사전주의적 의미와 비사전주의적 의미를 구분하는가?
• RQ2 훈련 데이터와 모델 아키텍처는 사전주의 예측에서 학습된 의미적 가중치에 어떤 영향을 미치는가?
• RQ3 미세조정은 사전주의 모델에서 의미 속성에 할당되는 가중치의 분배에 어떤 영향을 미치는가?
• RQ4 깊이 있는 사전주의 모델은 자폐 스펙트럼 장애나 정서 자극에서 나타나는 미세한 인간의 주의 패턴을 포착할 수 있는가?
• RQ5 최신 기술 수준의 사전주의 모델에서 공통적으로 나타나는 실패 패턴은 무엇이며, 인간의 주의와의 격차를 메우기 위해 무엇이 부족한가?

주요 결과

• 프레임워크는 OSIE 데이터셋에서 NSS 2.91과 CC 0.64의 경쟁적 성능를 유지하며, SALICON 및 SAM과 같은 최신 기술 수준의 모델과 비교해도 뒤지지 않는다.
• 깊이 있는 사전주의 모델은 주로 정확한 특징 탐지 능력과 의미 속성에 대해 양의 및 음의 가중치를 할당할 수 있는 능력 덕분에 성공한다.
• 훈련 데이터와 모델 아키텍처는 의미적 가중치의 분포와 크기에 상당한 영향을 미치며, 특히 비사전주의적 의미에 대한 가중치를 더 잘 할당함으로써 미세조정이 성능 향상에 기여한다.
• 이 방법은 SALICON, DINet, TranSalNet 등의 모델에서 복잡하거나 비표준적인 주의 시나리오를 다룰 때 나타나는 일반적인 실패 패턴을 성공적으로 규명한다.
• 이 프레임워크는 자폐에서의 이질적 주의, 정서 자극, 시간에 따른 동적인 주의 변화와 같은 특수 맥락에서 인간의 주의를 의미 있게 분석할 수 있게 한다.
• 연구는 중간 및 저수준의 신호를 구조화된 고수준 의미와 통합하는 것이 도전적인 사전주의 예측 상황에서 성능 향상에 필수적임을 드러낸다.

Figure 2: Important semantics learned by the deep saliency model and their weights. We visualize the top-60 semantics with significantly positive or negative weights.