[논문 리뷰] When Computer Vision Gazes at Cognition

Tao Gao, Daniel Harari외 2명|arXiv (Cornell University)|2014. 12. 08.

Gaze Tracking and Assistive Technology참고 문헌 22인용 수 8

한 줄 요약

이 논문은 심리물리적 실험과 인지적으로 영감을 받은 컴퓨터 비전 모델을 융합하여, 자유로운 3차원 시각적 환경에서 제3자 시선 방향을 탐지하는 데 있어 인간과 계산 모델의 성능을 조사한다. 인간은 8°–10° 간격의 시선 대상 간을 구분할 때 약 40%의 정확도를 기록하며, 현재의 모델들보다 뚜렷이 뛰어나며, 인간의 시선 인지 능력의 정교함과 이를 모델링하기 위한 향상된 계산 프레임워크의 필요성을 시사한다.

ABSTRACT

Joint attention is a core, early-developing form of social interaction. It is based on our ability to discriminate the third party objects that other people are looking at. While it has been shown that people can accurately determine whether another person is looking directly at them versus away, little is known about human ability to discriminate a third person gaze directed towards objects that are further away, especially in unconstraint cases where the looker can move her head and eyes freely. In this paper we address this question by jointly exploring human psychophysics and a cognitively motivated computer vision model, which can detect the 3D direction of gaze from 2D face images. The synthesis of behavioral study and computer vision yields several interesting discoveries. (1) Human accuracy of discriminating targets 8°-10° of visual angle apart is around 40% in a free looking gaze task; (2) The ability to interpret gaze of different lookers vary dramatically; (3) This variance can be captured by the computational model; (4) Human outperforms the current model significantly. These results collectively show that the acuity of human joint attention is indeed highly impressive, given the computational challenge of the natural looking task. Moreover, the gap between human and model performance, as well as the variability of gaze interpretation across different lookers, require further understanding of the underlying mechanisms utilized by humans for this challenging task.

연구 동기 및 목표

• 자연스럽고 제약이 없는 환경에서 인간의 시각 인지 한계가 제3자 시선 방향을 탐지하는 데 어떻게 작용하는지 이해하기 위해.
• 개개인의 시선 해석 방식 차이가 공동 주의 작업 수행에 어떻게 영향을 미치는지 조사하기 위해.
• 2차원 얼굴 영상에서 3차원 시선 방향을 추론할 수 있는 인지적으로 유도된 컴퓨터 비전 모델을 개발하고 평가하기 위해.
• 인간 성능와 계산 모델 간의 성능을 비교하여 현재 인공지능 접근 방식에서의 시선 인지 격차를 규명하기 위해.
• 복잡한 시각적 환경에서 높은 정밀도의 시선 해석이 가능하게 하는 근본적인 인지 메커니즘을 밝혀내기 위해.

제안 방법

• 자유로운 시선 탐지 작업에서 참가자들이 다양한 각도 간격의 잠재적 시선 대상 간의 차이를 인식하도록 심리물리적 실험을 실시하였다.
• 인간의 인지 과정을 모델링한 컴퓨터 비전 모델을 개발하여 2차원 얼굴 영상에서 3차원 시선 방향을 추정하였다.
• 단일 영상에서 눈과 머리의 방향을 기반으로 3차원 얼굴 모델과 기하학적 제약 조건을 사용하여 시선 방향을 추론하였다.
• 모델의 예측을 인간의 인지적 판단과 일치시키기 위해 인간 관찰자 데이터를 사용하여 校정하였다.
• 다양한 시선 해석 스타일을 가진 여러 관찰자에 대해 인간 데이터와의 성능을 평가하였다.
• 8°–10°의 시각 각 간격으로 분리된 시선 대상 간의 구분 정확도를 성능 척도로 사용하였다.

실험 결과

연구 질문

• RQ1 자연스럽고 제약이 없는 시선 작업에서 인간은 8°–10° 간격의 제3자 시선 대상 간을 인식하는 데 얼마나 정확한가?
• RQ2 다른 관찰자 간의 시선 해석 방식의 다양성이 성능에 어떻게 영향을 미치는가?
• RQ3 계산적으로 모델링된 시스템이 인간의 시선 해석에서 관찰된 변동성을 재현할 수 있는가?
• RQ4 현재의 컴퓨터 비전 모델이 인간의 성능에 비해 어느 정도 뒤처지거나, 이를 충족하는가?
• RQ5 복잡한 시각적 환경에서 인간의 공동 주의 정밀도를 가능하게 하는 근본적인 인지 메커니즘은 무엇인가?

주요 결과

• 참가자들은 자유로운 시선 탐지 작업에서 8°–10°의 시각 각 간격으로 분리된 시선 대상 간을 인식하는 데 약 40%의 정확도를 기록하였다.
• 다양한 개인 간에 시선 해석 능력에 뚜렷한 변동성이 관찰되어, 관찰자 간에 인지 전략의 차이가 있음을 시사한다.
• 인지적으로 영감을 받은 컴퓨터 비전 모델은 인간 데이터에서 관찰된 개인 간 시선 해석 변동성을 성공적으로 반영하였다.
• 그럼에도 불구하고, 모델의 성능는 인간의 성능에 비해 뚜렷이 열등하여 심각한 성능 격차가 있음을 시사한다.
• 결과적으로 인간의 공동 주의 정밀도가 계산적으로 도전적인 자연 환경에서도 매우 정교함을 입증한다.
• 인간과 모델 간 성능 격차는 현재의 컴퓨터 비전 모델가 인간의 시각 인지에서 시선 인지에 필수적인 핵심 메커니즘을 누락하고 있음을 시사한다.