[논문 리뷰] Personalization of Saliency Estimation

Bingqing Yu, James J. Clark|arXiv (Cornell University)|2017. 11. 21.

Visual Attention and Saliency Detection참고 문헌 20인용 수 5

한 줄 요약

이 논문은 관찰자 신원 및 특성(예: 연령, 언어 능력 등)을 영상 자극과 통합하여 개인 맞춤형 시각적 주목도 예측을 생성하는 조건부 딥 컨volution 신경망 생성 모델을 제안한다. 이 모델은 레이블 조건부 생성자와 판별자를 통해 시각적 주목의 개인 간 차이를 명시적으로 모델링함으로써 비개인화된 기준 모델 대비 예측 정확도를 향상시키며, 자연 이미지 및 텍스트 독서 작업 모두에서 AUC, NSS는 높이고 KL-분산과 MSE는 낮춘다.

ABSTRACT

Most existing saliency models use low-level features or task descriptions when generating attention predictions. However, the link between observer characteristics and gaze patterns is rarely investigated. We present a novel saliency prediction technique which takes viewers' identities and personal traits into consideration when modeling human attention. Instead of only computing image salience for average observers, we consider the interpersonal variation in the viewing behaviors of observers with different personal traits and backgrounds. We present an enriched derivative of the GAN network, which is able to generate personalized saliency predictions when fed with image stimuli and specific information about the observer. Our model contains a generator which generates grayscale saliency heat maps based on the image and an observer label. The generator is paired with an adversarial discriminator which learns to distinguish generated salience from ground truth salience. The discriminator also has the observer label as an input, which contributes to the personalization ability of our approach. We evaluate the performance of our personalized salience model by comparison with a benchmark model along with other un-personalized predictions, and illustrate improvements in prediction accuracy for all tested observer groups.

연구 동기 및 목표

• 주의 할당의 개인적 차이를 忽시하는 기존 주목도 모델의 부족을 해결하기 위해.
• 저수준의 특징과 작업 요구 사항을 초월하여 개인적 특성(예: 연령, 언어 배경)이 시각적 주목 패턴에 어떻게 영향을 미치는지 모델링하기 위해.
• 추가 데이터 수집이나 데이터셋 재학습 없이도 관찰자별로 정확한 주목도 지apap을 생성할 수 있는 딥 러닝 프레임워크를 개발하기 위해.
• 자연 풍경과 텍스트 독서를 포함한 다양한 시각적 맥락에서 모델의 효과성을 입증하기 위해.

제안 방법

• 조건부 딥 컨volution 신경망 생성 모델(DCGAN)을 사용하며, 생성자는 이미지 입력과 관찰자 신원 레이블을 조건으로 하여 회색조 주목도 히트맵을 생성한다.
• 판별자는 실제 주목도 지도(눈동자 추적 데이터에서 유도)와 생성된 지도를 구분하도록 훈련되며, 개인화를 강화하기 위해 관찰자 레이블도 입력으로 받는다.
• 생성자는 공간적 세부 정보를 유지하기 위해 스킵 연결 아키텍처를 사용하고, 판별자는 스펙트럼 정규화와 리취드 ReLU 활성화 함수를 사용하여 훈련 안정성을 확보한다.
• 관찰자 신원은 간단한 원-핫 임베딩으로 인코딩되어, 세부 설문 조사 없이도 다양한 인구 통계나 언어 집단 간 일반화가 가능하다.
• 생성자는 지도가 진짜 고정점 패턴과 일치하도록 하며, 적대적 손실을 최소화하는 방식으로 엔드 투 엔드로 훈련된다.
• 이 방법은 모듈러하다: 예를 들어 MLNET와 같은 최신 기술의 주목도 지도를 입력으로 받아, 원시 눈동자 추적 데이터에서의 재학습 없이도 개인화가 가능하다.

실험 결과

연구 질문

• RQ1 관찰자 신원과 특성(예: 연령 또는 언어 능력 수준)을 통합함으로써 GAN 기반 모델이 주목도 예측을 효과적으로 개인화할 수 있는가?
• RQ2 생성 과정에 개인적 특성을 포함할 경우, 비개인화된 모델 대비 눈동자 예측 정확도는 어떻게 향상되는가?
• RQ3 이 모델은 자연 이미지와 텍스트 전용 콘텐츠를 포함한 다양한 시각적 자극에 얼마나 잘 일반화되는가?
• RQ4 모델의 출력은 청소년 관찰자에게 중심 집중 고정점이 많고, 노령 관찰자에게는 더 퍼져 있는 패턴을 보이는 것으로 알려진 주목 할당의 행동적 차이를 반영하는가?

주요 결과

• 개인화된 모델은 비개인화된 MLNET 기준 모델 대비 주목도 예측 정확도에서 유의미하게 뛰어나며, 두 연령대 모두에서 AUC(p < 0.01), NSS, KL-분산, 유사도 지표에서 향상되었다.
• 연령대 비교에서, 모델은 젊은 관찰자에게는 더 중심에 집중되고 뭉쳐진 주목도 지도를 생성했고, 노령 관찰자에게는 더 퍼져 있고 매끄러운 지도를 생성하여 Age Study 데이터셋의 경험적 결과와 일치했다.
• GECO 데이터셋에서, 정확한 신원 레이블을 사용할 경우 L1(모국어 사용자) 및 L2(제2언어 사용자) 독자 모두에서 눈동자 고정점 예측의 MSE가 낮아졌다. 이는 맥락 인식 개인화를 보여준다.
• 잘못된 레이블(예: L2 콘텐츠에 L1 레이블)을 입력으로 넣었을 경우, 모델은 불일치하는 고정점 패턴을 생성했다—예를 들어 L1 사용자에게는 더 높은 스킵 빈도, L2 사용자에게는 더 많은 고정점 수를 보였다—이를 통해 레이블 의존적 행동이 확인되었다.
• 모델은 텍스트 전용 자극에 대해서도 개인화된 주목도 지도를 성공적으로 생성했으며, 이는 개인화가 자연 풍경을 넘어서 독서 행동으로까지 확장된다는 것을 보여준다.
• 추가 데이터 수집이나 데이터셋 구축이 필요 없으며, 사전 훈련된 주목도 지도(예: MLNET에서 유도)를 직접 입력으로 사용할 수 있어, 적응성과 효율성이 뛰어나다.