[논문 리뷰] Guiding human gaze with convolutional neural networks

Leon A. Gatys, Matthias Kümmerer외 2명|arXiv (Cornell University)|2017. 12. 18.

Gaze Tracking and Assistive Technology참고 문헌 1인용 수 13

한 줄 요약

이 논문은 목표로 하는 고정 분포를 기반으로 인간의 시선을 특정 영역으로 이끄는 데 목적이 있는 딥러닝 기법을 제안한다. 인간의 시선 주도 실험을 통해 검증된 바에 따르면, 사전에 학습된 시각적 민감도 기반 손실 함수를 사용해 CNN을 훈련시킴으로써, 자연스러운 이미지 유지 조건에서 평균적으로 목표 물체에 대한 고정 확률을 43% 향상시켰다.

ABSTRACT

The eye fixation patterns of human observers are a fundamental indicator of the aspects of an image to which humans attend. Thus, manipulating fixation patterns to guide human attention is an exciting challenge in digital image processing. Here, we present a new model for manipulating images to change the distribution of human fixations in a controlled fashion. We use the state-of-the-art model for fixation prediction to train a convolutional neural network to transform images so that they satisfy a given fixation distribution. For network training, we carefully design a loss function to achieve a perceptual effect while preserving naturalness of the transformed images. Finally, we evaluate the success of our model by measuring human fixations for a set of manipulated images. On our test images we can in-/decrease the probability to fixate on selected objects on average by 43/22% but show that the effectiveness of the model depends on the semantic content of the manipulated images.

연구 동기 및 목표

• 이미지의 시각적 주목도를 조작하여 인간의 시선을 제어하는 데이터 기반 방법을 개발한다.
• 높은 모호성으로 인해 주목도 맵을 이미지로 매핑하는 데 어려움이 있음에도 불구하고, 특정 고정 패턴을 유도하는 자연스러운 보기에 가까운 이미지를 생성하는 과제를 해결한다.
• 다양한 데이터셋에서 고정된 CNN 아키텍처를 훈련시켜 고정 예측 모델의 적대적 예제에 대한 과적합을 줄인다.
• 실제 고정 패턴을 측정하는 인간 행동 실험을 통해 제안된 방법의 효과성을 검증한다.

제안 방법

• 입력 이미지를 목표로 하는 고정 분포와 일치하는 새로운 이미지로 매핑하는 CNN 기반의 이미지 변환 네트워크를 훈련시킨다.
• 손실 함수는 사전에 학습된 고정 예측 CNN(DeepGaze II)의 특징을 기반으로 한 인지적 손실과 이미지의 자연스러움을 유지하는 데 기여하는 콘텐츠 보존 손실을 조합한다.
• 목표 고정 분포는 공간적 주목도 맵으로 정의되며, 일반화를 향상시키기 위해 객체 마스크를 흐리게 처리하여 날카운 전이를 방지한다.
• 백프로파게이션을 사용하여, 이미지와 그에 해당하는 주목도 맵을 포함한 대규모 데이터셋에서 이미지 변환을 최적화하기 위해 모델을 훈련시킨다.
• 이미지 조작의 효과는 인간의 시신경 측정 실험을 통해 평가되며, 통제된 조건에서 고정 패턴이 기록된다.
• 기억 효과나 의식적 제어 영향을 줄이기 위해 여러 데이터 서브셋(예: 첫 번째 블록, 첫 번째 고정만)을 분석한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크를 훈련시켜 인간 관찰자가 특정 목표 영역으로 시선을 고정하도록 유도할 수 있는가?
• RQ2 기존 이미지와 비교했을 때, 모델은 목표 물체에 대한 고정 확률을 얼마나 효과적으로 높였는가?
• RQ3 변환 과정에서 모델은 이미지의 자연스러움과 정체성을 어느 정도 유지하는가?
• RQ4 인간의 고정 패턴은 변형된 이미지에 어떻게 반응하며, 다양한 실험 조건에서도 효과가 견고한가?

주요 결과

• 시험 이미지 전반에서 목표 물체에 대한 고정 확률을 평균 43% 향상시켰으며, 고정을 억제할 경우 22% 감소하였다.
• 첫 번째 고정만을 고려할 경우, 목표 물체에 대한 고정 확률 평균 증가율은 3230%에 달하여 초기 주의 유도 효과가 뚜렷하였다.
• 첫 번째 고정에 대한 중앙값 상대 증가율은 목표 물체 유인 시 57%, 억제 시 48%로 나타나 의도적 제어에 대해 강건함을 보였다.
• 모델의 효과성은 이미지의 의미적 내용에 따라 달라지며, 명확하고 뚜렷한 객체가 있는 이미지에서 더 높은 성공률을 보였다.
• 변형된 이미지에 대한 인간의 고정 패턴은 목표 주목도 맵과 밀도 있게 일치하여 모델의 예측 능력이 검증되었다.
• 기억 효과나 의식적 제어에 영향을 받지 않음을 보여주기 위해 첫 번째 블록 및 첫 번째 고정 분석 결과가 일관되게 유지되었다.