[논문 리뷰] Visual Decoding of Targets During Visual Search From Human Eye Fixations

Hosnieh Sattar, Mario Fritz외 1명|arXiv (Cornell University)|2017. 06. 19.

Gaze Tracking and Assistive Technology참고 문헌 7인용 수 4

한 줄 요약

이 논문은 눈의 정지 위치 데이터만을 사용하여 사용자의 정신적 검색 대상을 시각적으로 복원하는 최초의 방법을 제시한다. 눈의 움직임 풀링 인코더를 통해 의미적 특징을 추출하고, 조건부 생성 모델을 활용해 대상 이미지를 재구성한다. 이 방법은 인간이 복원된 대상을 인식하는 데 62%의 정확도를 달성하여 우연의 경우(10%)보다 훨씬 높으며, 국소적인 눈의 정지 정보가 정확한 재구성에 필수적임을 입증한다.

ABSTRACT

What does human gaze reveal about a users' intents and to which extend can these intents be inferred or even visualized? Gaze was proposed as an implicit source of information to predict the target of visual search and, more recently, to predict the object class and attributes of the search target. In this work, we go one step further and investigate the feasibility of combining recent advances in encoding human gaze information using deep convolutional neural networks with the power of generative image models to visually decode, i.e. create a visual representation of, the search target. Such visual decoding is challenging for two reasons: 1) the search target only resides in the user's mind as a subjective visual pattern, and can most often not even be described verbally by the person, and 2) it is, as of yet, unclear if gaze fixations contain sufficient information for this task at all. We show, for the first time, that visual representations of search targets can indeed be decoded only from human gaze fixations. We propose to first encode fixations into a semantic representation and then decode this representation into an image. We evaluate our method on a recent gaze dataset of 14 participants searching for clothing in image collages and validate the model's predictions using two human studies. Our results show that 62% (Chance level = 10%) of the time users were able to select the categories of the decoded image right. In our second studies we show the importance of a local gaze encoding for decoding visual search targets of user

연구 동기 및 목표

• 사용자의 눈의 정지 위치 데이터만으로도 직접 관찰할 수 없는 정신적 검색 대상을 재구성할 수 있는지 조사하기 위해.
• 딥 러닝 기반 눈의 움직임 인코딩과 조건부 이미지 생성을 조합하여 검색 대상의 시각적 재구성 결과가 인간의 인지에 의미 있는지 탐색하기 위해.
• 국소적 눈의 정지 정보(정지 위치)와 전반적 정지 패턴(정지의 존재 여부) 간에 어떤 것이 검색 대상 재구성에 더 기여하는지 평가하기 위해.
• 대규모, 고비용의 눈의 정지 데이터셋 수집을 피하기 위해 사전 학습된 모델과 공유된 의미적 표현 레이어를 활용하는 실용적인 방법을 수립하기 위해.

제안 방법

• 정지 위치 시퀀스를 의미적 임베딩으로 인코딩하기 위해 눈의 움직임 풀링 레이어를 사용하여 공간적 및 시간적 눈의 움직임 다이내믹스를 포착한다.
• 대규모 이미지 코퍼스에서 학습된 조건부 생성 모델(예: 조건부 GAN 또는 VAE)에 인코딩된 눈의 움직임 표현을 전달하여 이미지 샘플을 생성한다.
• 눈의 정지 위치에서 유도된 의미적 임베딩을 조건으로 하여 대상 물체의 이미지 재구성을 생성한다.
• 눈의 움직임 인코더와 이미지 생성기를 대규모 이미지 데이터셋에서 별도로 학습시키며, 의미적 레이어를 통해 상호 표현 전달을 가능하게 한다.
• 전체 정지 위치(국소적)와 정지 존재 여부만 사용하는 전략(전반적)을 비교하여 공간 정밀도의 기여도를 분리한다.
• 인간 평가 연구를 통해 생성된 이미지의 시각적 품질과 인식 가능성 여부를 검증한다.

실험 결과

연구 질문

• RQ1 사용자의 눈의 정지 위치 데이터만으로도 직접 관찰할 수 없는 정신적 검색 대상을 복원할 수 있는가, 비록 그것이 주관적인 정신적 표현이더라도?
• RQ2 정지 위치와 같은 국소적 눈의 움직임 정보가 정지 패턴의 전반적 특성보다 검색 대상 재구성의 품질과 인식 가능성에 얼마나 더 큰 기여를 하는가?
• RQ3 사람 관찰자가 눈의 정지 위치 데이터에서 복원된 이미지에서 정확한 대상 카테고리를 인식하는 데 얼마나 정확한가, 그리고 우연의 경우를 초월하는가?
• RQ4 사전 학습된 모델과 공유된 의미 공간을 활용하여 대규모 눈의 정지 데이터셋 수집 없이도 실용적이고 데이터 효율적인 방법을 개발할 수 있는가?

주요 결과

• 제안된 방법은 눈의 정지 위치 데이터에서 62%의 인간 인식 정확도로 시각적 검색 대상을 성공적으로 복원하여 10%의 우연 수준보다 유의미하게 높은 성능을 달성했다.
• 사용자들은 국소적 눈의 정지 인코딩 방법을 전반적 방법보다 일관되게 선호하였으며, 65%의 경우에서 선택했고, 통계적으로 유의미한 차이(p = 0.009)를 보였다.
• 혼동은 주로 블라우스/드레스, 재킷/카디건과 같이 외관이 유사한 의류 카테고리 간에 주로 발생하여 미세한 특징 구분에 어려움이 있음을 시사했다.
• 국소적 눈의 정지 인코딩 방법은 개인 사용자에서 더 높은 정확도(예: P1의 경우 80%)를 달성한 반면, 전반적 방법은 낮은 정확도(예: P1의 경우 20%)를 보여, 공간적 정지 정보의 중요성을 입증했다.
• 모델의 성능은 참가자 간에 안정적이었으며, 청바지, 반바지, 드레스 등의 카테고리에서는 높은 신뢰도를 보여 특정 물체 유형에 대해 더 우수한 일반화 능력을 지녔다.
• 공유된 의미 레이어의 사용으로 눈의 움직임 인코딩과 이미지 생성 간 효과적인 전달이 가능했으며, 대규모 눈의 정지 전용 학습 데이터가 필요하지 않았다.