[논문 리뷰] Measuring and modeling the perception of natural and unconstrained gaze in humans and machines

Daniel Harari, Tao Gao외 3명|arXiv (Cornell University)|2016. 11. 29.

Face Recognition and Perception참고 문헌 30인용 수 7

한 줄 요약

이 논문은 실제 환경에서 자연스럽고 제약 없는 시선을 인간과 기계가 어떻게 인지하는지 조사하며, 동적 신호가 없는 상황에서도 인간이 대면 상호작용에서 더 뛰어난 성능을 보임을 입증한다. 깊이 학습 모델은 눈 부위 입력만으로도 인간의 인지 패턴—예를 들어 워라스턴 환상에 대한 민감도—를 재현하며, 임무에 특화된 표현을 학습한다.

ABSTRACT

Humans are remarkably adept at interpreting the gaze direction of other individuals in their surroundings. This skill is at the core of the ability to engage in joint visual attention, which is essential for establishing social interactions. How accurate are humans in determining the gaze direction of others in lifelike scenes, when they can move their heads and eyes freely, and what are the sources of information for the underlying perceptual processes? These questions pose a challenge from both empirical and computational perspectives, due to the complexity of the visual input in real-life situations. Here we measure empirically human accuracy in perceiving the gaze direction of others in lifelike scenes, and study computationally the sources of information and representations underlying this cognitive capacity. We show that humans perform better in face-to-face conditions compared with recorded conditions, and that this advantage is not due to the availability of input dynamics. We further show that humans are still performing well when only the eyes-region is visible, rather than the whole face. We develop a computational model, which replicates the pattern of human performance, including the finding that the eyes-region contains on its own, the required information for estimating both head orientation and direction of gaze. Consistent with neurophysiological findings on task-specific face regions in the brain, the learned computational representations reproduce perceptual effects such as the Wollaston illusion, when trained to estimate direction of gaze, but not when trained to recognize objects or faces.

연구 동기 및 목표

• 실생활에서 자연스럽고 제약 없는 시각적 장면에서 인간의 시선 방향 인지 정확도를 실증적으로 측정하는 것.
• 인간의 시선 인지 배경이 되는 시각적 정보 원천—예를 들어 머리 자세나 눈 부위—을 특정하는 것.
• 인간의 시선 추정 작업 성능을 재현하는 계산 모델을 개발하는 것.
• 뇌의 임무에 특화된 신경 표현이 학습된 인공 표현에 의해 반영될 수 있는지 조사하는 것.
• 동적 입력(예: 머리 움직임)이 인간의 시선 인지 우월성에 기여하는지 여부를 규명하는 것.

제안 방법

• 대면 상호작용 대비 기록된 영상 조건에서의 시선 인지 정확도를 비교하는 인간 심리물리 실험을 수행함.
• 눈 부위만을 사용하여 인간 성능에 기여하는 요소를 분리하기 위해 데이터를 수집함.
• 계층적 시각 처리를 모델로 삼은 아키텍처를 사용해 얼굴 영상에서 시선 방향을 추정하는 딥 컨volution 네트워크(DCNN)를 훈련함.
• 학습된 표현을 비교하기 위해 동일한 모델을 얼굴 식별, 물체 식별 등의 다른 임무로도 훈련함.
• 워라스턴 환상과 같은 시각적 환상을 통해 인간 인지와의 일치 여부를 테스트하기 위해 모델 성능을 평가함.
• 뇌의 얼굴 처리 영역에 대한 신경생리학적 발견을 반영하는지 분석하기 위해 활성화 분석을 수행함.

실험 결과

연구 질문

• RQ1 실시간 대면 상호작용과 기록된 영상 자극 간 인간의 시선 인지 정확도는 어떻게 다를까?
• RQ2 자연스러운 장면에서 정확한 시선 추정에 가장 기여하는 시각적 단서—예를 들어 머리 자세나 눈 부위—는 무엇인가?
• RQ3 시선 추정을 위해 훈련된 딥 러닝 모델이 인간의 인지 패턴, 특히 시각적 환상에 대한 민감도까지 재현할 수 있는가?
• RQ4 시선 추정을 위해 학습된 표현은 얼굴 또는 물체 식별을 위해 학습된 표현과 어떻게 다를까? 그리고 이는 임무에 특화된 신경 조직을 반영하는가?
• RQ5 인간의 시선 인지 우월성은 동적 입력 때문인가, 아니면 맥락적 또는 사회적 단서와 같은 다른 요인 때문인가?

주요 결과

• 동적 신호가 제거된 상황에서도 인간은 기록된 영상 조건보다 대면 상호작용에서 시선 인지 정확도가 뚜렷이 높다.
• 눈 부위만으로도 정확한 시선 추정에 충분한 정보를 포함하며, 인간의 성능은 이 부위만 노출된 경우에도 높게 유지된다.
• 시선 방향을 추정하도록 훈련된 딥 러닝 모델은 인간의 성능 패턴—예를 들어 워라스턴 환상에 대한 민감도—까지 재현한다.
• 모델의 내부 표현은 신경생리학적 발견과 유사하다: 시선 추정을 위해 특화된 기능을 개발하지만, 얼굴 또는 물체 식별을 위해 훈련했을 땐 그렇지 않다.
• 인간의 시선 인지 우월성은 입력의 동적 특성 때문이 아니며, 고차원적 맥락적 또는 사회적 처리에 의존함을 시사한다.
• 모델이 시각적 환상을 재현함으로써 내부 표현이 인간의 시각 처리에서 시선 인지에 핵심적인 요소를 반영하고 있음을 나타낸다.